[发明专利]视频处理方法、装置及系统

说明书

本发明涉及视频处理技术领域，公开一种视频处理方法、装置及系统，以降低延迟、并支持浏览器无插件播放。系统包括：视频处理装置、WebRTC服务器以及Web服务器。视频处理装置包括：通过PCI‑E接口从摄像头获取原始视频帧的视频采集模块；预处理模块，基于OpenGL和CUDA接口对原始视频帧进行预处理，形成待编码视频帧；硬件编码模块，用于进行H.264编码并设有硬件编码输入缓冲区接收待编码视频帧，且设有硬件编码输出缓冲区以存放编码后的视频帧；视频输出模块，通过RTP协议向WebRTC服务器发送H.264编码视频帧；用于协调和调度视频采集模块、预处理模块、硬件编码模块和视频输出模块的调度模块。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种视频处理方法、装置及系统。

背景技术

一般监控相机、全景相机、VR相机等均采用rtsp或者rtmp提供视频流服务。

使用浏览器播放rtsp视频流时，需要手动安装插件。由于插件技术会带来安装、加载、安全性、兼容性等一系列问题，主流浏览器已经不再支持。目前，只有微软的IE仍在支持插件，但从2015年开始，微软也已经转向HTML5，新的浏览器Edge已经不再支持插件。如果IE退役，插件也将不再受到支持。

浏览器对rtmp协议支持较好，但rtmp使用TCP传输，延迟较大，一般为1-3秒，而且容易产生累积延迟。另外，rtmp为Adobe私有协议，Adobe已经停止更新，主流浏览器也已默认不再支持。

相机提供的分辨率越来越高，全景相机更是可以达到亿级像素，对于4K及以上的超高清视频，如何提高视频处理性能，提高帧率，降低延迟，将是系统设计者必须解决的问题。

发明内容

本发明目的在于公开一种视频处理方法、装置及系统，以降低延迟、并支持浏览器无插件播放。

为达上述目的，本发明公开一种视频处理方法，包括：

通过PCI-E接口从摄像头获取原始视频帧；

在GPU中基于OpenGL(Open Graphics Library，开放图形库)和CUDA(ComputeUnified Device Architecture)接口对所述原始视频帧进行预处理，形成待编码视频帧；

将待编码视频帧送入硬件编码输入缓冲区，进行H.264编码；

从硬件编码输出缓冲区获取H.264编码视频帧，通过RTP协议发送到WebRTC服务器；

客户端浏览器打开Web页面，连接到WebRTC服务器播放视频。

为达上述目的，本发明还公开一种视频处理装置，包括：

通过PCI-E接口从摄像头获取原始视频帧的视频采集模块；

预处理模块，基于OpenGL和CUDA接口对所述原始视频帧进行预处理，形成待编码视频帧；

硬件编码模块，用于进行H.264编码并设有硬件编码输入缓冲区接收待编码视频帧，且设有硬件编码输出缓冲区以保存编码后的视频帧；

视频输出模块，通过RTP协议向WebRTC服务器发送H.264编码视频帧；

用于协调和调度所述视频采集模块、预处理模块、硬件编码模块和视频输出模块的调度模块。

为达上述目的，本发明还公开一种视频处理系统，包括：

连接摄像头的如上所述的视频处理装置；

用于提供视频流服务并连接所述视频处理装置的WebRTC服务器；以及