[发明专利]一种基于webRTC的移动摄像头人脸识别低延迟解决方法

说明书

本发明公开了一种基于webRTC的移动摄像头人脸识别低延迟解决方法。它具体包括如下步骤：移动端发起人脸检测请求；由监控服务器向转码器发起转码任务；转码器向RTC服务器发起请求建立聊天房间；RTC服务器返回房间号给转码器；转码器告诉监控服务器房间号；监控服务器再告诉移动端房间号；移动端通过房间号连接RTC服务器加入房间；RTC服务器与通信云建立同房间的数据传输节点，基于webRTC进行时间低延迟数据传输；移动端开始发送数据经通信云给转码器；转码器建立一进两处任务，实现人脸抓拍和实时透传任务。本发明的有益效果是：能够有效的实现降低画面延迟问题，可以得出延迟结果大概在200ms到300ms之间，理论可以降到100ms以内。

技术领域

本发明涉及视频编解码相关技术领域，尤其是指一种基于webRTC的移动摄像头人脸识别低延迟解决方法。

背景技术

在开发手机端人脸监控项目中，发现用手机端发送rtmp流到服务器用于人脸识别时，发现画面延迟过大的问题，且手机端距离越远，走公网流的延迟会更高会达到十多秒。

发明内容

本发明是为了克服现有技术中存在上述的不足，提供了一种能够有效缩短延迟时间的基于webRTC的移动摄像头人脸识别低延迟解决方法。

为了实现上述目的，本发明采用以下技术方案：

一种基于webRTC的移动摄像头人脸识别低延迟解决方法，具体包括如下步骤：

(1)移动端发起人脸检测请求；

(2)由监控服务器向转码器发起转码任务；

(3)转码器向RTC服务器发起请求建立聊天房间；

(4)RTC服务器返回房间号给转码器；

(5)转码器告诉监控服务器房间号；

(6)监控服务器再告诉移动端房间号；

(7)移动端通过房间号连接RTC服务器加入房间；

(8)RTC服务器与通信云建立同房间的数据传输节点，基于webRTC进行时间低延迟数据传输；

(9)移动端开始发送数据经通信云给转码器；

(10)转码器建立一进两处任务，实现人脸抓拍和实时透传任务。

采用上述基于webRTC的移动摄像头人脸识别的低延迟解决方法，能够有效的实现降低画面延迟问题，利用opecv显示通过解码视频转成RBG24的数据，可以得出延迟结果大概在200ms到300ms之间，理论可以降到100ms以内；手机采用4G网络也差不多是这个延迟时间。

作为优选，在步骤(8)中，基于webRTC中具体包括RtcMessage、communication、通信云和硬件，其中RtcMessage是作为一个信令集，用于移动端向通信云发起请求创建房间或者加入房间，通信云创建房间成功后，再和移动端建立communication的通讯连接，由硬件采集音视频数据送向通信云或者接受通信云的数据。

作为优选，在步骤(10)中，转码器在建立一进两处任务时，采用了底层转码技术，继承了dshow框架进行实现，具体实现如下：首先由Source模块接入RTC服务器获取移动端视频数据，再由infTee模块分发数据到视频数据解码器decoder和视频拼针模块framewrapper，第一分支视频数据解码器decoder解析码流数据，再传给视频编码器encoder编译成RGB24图，传给人脸识别模块进行特征对比，从而抓拍人脸；第二分支视频拼针模块framewrapper传给FLVmux模块，生成RTMP直播流，添加音频静音包，进行实时透传。