OpenCV运行gstreamer管道获取相机数据，处理以后，再交给gstreamer显示（QT实现）

本文主要是介绍OpenCV运行gstreamer管道获取相机数据，处理以后，再交给gstreamer显示（QT实现），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

效果：

前言

无意中发现，OpenCV也可以运行gstreamer的命令管道，然后使用appsink来与OpenCV连接起来进行处理，在不断测试之下，先后实现了以下功能：

1. OpenCV运行gstreamer命令，通过appsink传递给OpenCV显示

2. OpenCV运行gstreamer命令，然后再把Mat图像数据通过appsrc传递给gstreamer显示

3. 增加OpenCV处理，然后使用gstreamer的overlay绑定QT的QWidget显示出来

一、环境安装以及简单的测试demo

注意：

gstreamer和opencv的版本一定要匹配才行，比如目前使用的是gstreamer--1.16.3 ，opencv是4.2.0. ，我没仔细去查具体的版本匹配，但是OpenCV3.4和gstreamer1.16肯定不匹配。
虚拟机的路径是/usr/lib/x86_64-linux-gnu/ orin上是/usr/local/lib，在pro文件需要区分

安装OpenCV环境：

方法一：源码安装opencv参考：Jetson Orin NX 开发指南（5）: 安装 OpenCV 4.6.0 并配置 CUDA 以支持 GPU 加速_jetson安装opencv-CSDN博客

方法二：apt安装opencv开发库：sudo apt-get update sudo apt-get install libopencv-dev

我自己使用的是方法二，但是这个需要自己找到头文件、库那些位置。

安装gstreamer环境，请参考其他文章，或者以下：

sudo apt-get install -y libgstreamer1.0-0 \gstreamer1.0-plugins-base \gstreamer1.0-plugins-good \gstreamer1.0-plugins-bad \gstreamer1.0-plugins-ugly \gstreamer1.0-libav \gstreamer1.0-doc \gstreamer1.0-tools \libgstreamer1.0-dev \libgstreamer-plugins-base1.0-devsudo apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libqt5gstreamer-dev libgtk-3-devsudo apt-get install libpng12-0

源码功能：实现OpenCV运行gstreamer管道

pro文件：

QT       += core gui greaterThan(QT_MAJOR_VERSION, 4): QT += widgets
DESTDIR = $$PWD/bin
CONFIG += c++11DEFINES += QT_DEPRECATED_WARNINGSSOURCES += \main.cpp#orin： 
CONFIG += link_pkgconfig
PKGCONFIG += opencv4
LIBS    += -L/usr/local/lib -lopencv_core -lopencv_highgui -lopencv_imgproc -lopencv_imgcodecsINCLUDEPATH += \/usr/include/opencv2/#虚拟机：
#CONFIG      += link_pkgconfig
#PKGCONFIG   += opencv4
#LIBS        += -L/usr/lib/x86_64-linux-gnu/ -lopencv_core -lopencv_highgui -lopencv_imgproc -lopencv_imgcodecs -lopencv_videoio
#INCLUDEPATH += /usr/include/opencv4/opencv2

main.cpp文件：

注意：如果没有相机，可以把下面的 v4l2src device=/dev/video0 换成 videotestsrc

#include <opencv2/opencv.hpp>int main() {// GStreamer pipeline字符串std::string pipeline = "v4l2src device=/dev/video0 ! video/x-raw, width=640, height=480 ! videoconvert ! video/x-raw,format=BGR ! appsink  sync=0 drop=1";// 使用 GStreamer 捕获视频流cv::VideoCapture cap(pipeline, cv::CAP_GSTREAMER);// 检查捕获是否成功打开if (!cap.isOpened()) {std::cout << "Error opening video stream" << std::endl;return -1;}// 读取并显示视频流cv::Mat frame;while (true) {cap >> frame;  // 从视频流中读取帧if (frame.empty()) break;  // 如果帧为空，则退出循环cv::imshow("Video", frame);  // 显示帧if (cv::waitKey(1) == 27) break;  // 按下 ESC 键退出循环}// 释放 VideoCapture 对象cap.release();cv::destroyAllWindows();return 0;
}

如果可以实现播放视频，就说明成功。

二、OpenCV运行gstreamer命令，通过appsink传递给OpenCV显示，然后通过appsrc传递回gstreamer，通过overlay绑定QWidget

pro文件：（相关的库，需要按照自己的配）

QT       += core gui # multimediawidgetsgreaterThan(QT_MAJOR_VERSION, 4): QT += widgets
DESTDIR = $$PWD/bin
CONFIG += c++11DEFINES += QT_DEPRECATED_WARNINGSSOURCES += \main.cpp# Default rules for deployment.
qnx: target.path = /tmp/$${TARGET}/bin
else: unix:!android: target.path = /opt/$${TARGET}/bin
!isEmpty(target.path): INS

这篇关于OpenCV运行gstreamer管道获取相机数据，处理以后，再交给gstreamer显示（QT实现）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！