[发明专利]一种基于GStreamer框架的实时视频处理系统及方法

说明书

本发明公开了一种基于GStreamer框架的实时视频处理系统及方法，所述系统基于插件和管道的体系结构，所述管道包括一个实时视频处理算法要运行时的所有处理步骤以及结果输出，所述系统中的功能模块都被实现成可以插拔的组件，本发明基于GStreamer框架实现了实时视频处理的目的，实现了代码重用，可以简化Linux下多媒体应用程序的开发，在GStreamer多媒体框架下开发的系统可以装卸载不同的插件以实现其他功能，具有良好的功能扩展性。

技术领域

本发明涉及视频处理技术领域，特别是涉及一种基于GStreamer框架的实时视频处理系统及方法。

背景技术

实时视频处理算法是通过获取摄像头视频流解码并通过算法对视频帧处理得出结果，所以合理高效的多媒体处理框架对于算法的集成、维护以及扩展非常重要。传统多媒体框架都使用Lives555框架，Lives555框架是一个实现了RTSP协议的开源流媒体框架，包含RTSP服务器端的实现以及RTSP客户端的实现。Lives555框架可以将若干种格式的视频文件或者音频文件转换成视频流或者音频流在网络中通过RTSP协议分发传播，这便是流媒体服务器最核心的功能。但是由于现有技术调度框架采用的是全局单线程事件查询调度，并且在轮循线程中直接对数据进行了处理，所以在处理多路数据或处理数据时间过长带来较严重的性能问题，同时Lives555框架扩展性能差，在开发中带来很大的代码量。

因此，实有必要提出一种技术手段，以解决上述问题

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于GStreamer框架的实时视频处理系统及方法，以基于GStreamer框架实现实时视频处理的目的，实现了代码重用，可以简化Linux下多媒体应用程序的开发，在GStreamer多媒体框架下开发的系统可以装卸载不同的插件以实现其他功能，具有良好的功能扩展性。

为达上述及其它目的，本发明提出一种基于GStreamer框架的实时视频处理系统，所述系统基于插件和管道的体系结构，所述管道包括一个实时视频处理算法要运行时的所有处理步骤以及结果输出，所述系统中的功能模块都被实现成可以插拔的组件。

优选地，所述管道包括取流插件、解码插件、n个算法插件以及sink插件，所述取流插件用于获取视频或者音频的流，产生的视频或音频流经过解码插件输出算法插件所需要的数据格式，各算法插件用于对解码后的视频或音频流进行一系列处理，所述sink插件用于将算法插件所处理的结果输出。

优选地，所有插件都通过管道机制进行统一的数据交换

优选地，各算法插件实现了视频或音频处理的一系列函数接口，封装了视频或音频的数据结构，高效地实现了视频音频数据的传输。

优选地，所述算法插件继承所述GStreamer框架的elment元素或者插件以便可以方便的应用于一个管道内，每个算法插件都独立于其应用的管道实现了即插即用。

优选地，各算法插件继承了所述GStreamer框架的类别gstvideofilter或gstaudiofilter，所述类别gstvideofilter或gstaudiofilter实现了视频或音频处理一系列的函数接口，封装了视频或音频buffer数据结构。

优选地，每个管道处理一路视频流，多个管道之间通过信号机制进行通信。

为达到上述目的，本发明还提供一种基于GStreamer框架的实时视频处理方法，所述方法基于插件和管道的体系结构，包括如下步骤：

步骤S1，利用取流插件获取视频或者音频的流；

步骤S2，将产生的视频或音频流经过解码插件输出算法插件所需要的数据格式；

步骤S3，利用n个算法插件对解码后的视频或音频进行一系列的视频或音频处理；