[发明专利]基于webrtc的多路录像回放同步系统及其处理方法

摘要

本发明公开基于webrtc的多路录像回放同步系统及其处理方法，基于webrtc的多路录像回放同步系统包括：视频存储模块，视频帧同步模块，Webrtc发包模块，回放评估模块，回放控制模块，视频源，回放代理模块，webrtc收包模块，webrtc解码模块，webrtc渲染模块；采用本发明的技术方案，webrtc技术因为多路回视频放有独立收发包重传、视频解码、视频渲染延时，在多路录像在回放速度高，本发明通过视频帧同步模块帧同步发送，保证webrtc发送一致性，减低多路回放不同步可能性，通过回放评估模块评估延时小与延时大的视频回放，通过视频帧同步模块使用丢帧与延时方法修正到其他视频回放一致。

主权项

1.一种基于webrtc的多路录像回放同步系统，其特征在于，包括：视频存储模块(1)，视频帧同步模块(2)，Webrtc发包模块(3)，回放评估模块(4)，回放控制模块(5)，视频源(6)，浏览器的回放代理模块(7)，浏览器的webrtc收包模块(8)，浏览器的webrtc解码模块(9)，浏览器的webrtc渲染模块(10)；视频存储模块(1)：视频的存储与读取模块，负责把多路视频源(6)的视频进行存储，为视频帧同步模块(2)发送历史回放视频的视频帧，向回放评估模块(5)提供各个视频源(6)的历史回放视频的帧率；接收回放控制模块(5)的回放速度控制，进行回放控制请求；视频帧同步模块(2)：多路视频的帧同步模块，使用丢帧策略与延时测试持多路视频图像回放同步；从视频存储模块(1)接收历史录像，接收回放评估模块(4)的丢帧控制与延时发送帧策略，同步多路视频的历史回放视频，向webrtc发包模块(3)转发历史回放视频；视频帧同步模块(2)丢帧控制通过丢弃视频帧的P帧与保留I帧，保证图像的连续与同步；Webrtc发包模块(3)：webrtc视频回放服务发包模块，通过webrtc的srtp协议把多路历史回放视频的视频帧发送给浏览器的webrtc收包模块(8)；Webrtc发包模块把各个历史回放视频的视频帧的发送队列长度时上报给回放评估模块(4)；回放评估模块(4)：接收视频存储模块(1)的历史回放视频的帧率，接收Webrtc发包模块(3)的发送队列长度，通过回放控制模块(5)与回放代理模块(7)收集webrtc收包模块(8)的丢包率、webrtc解码模块(9)的帧数、webrtc渲染模块(10)的延时渲染帧数来计算多路历史回放视频的时间差，选择延时居中历史回放视频做基准，对偏差较小延时较大的历史回放视频进行通知视频帧同步模块(4)进行丢帧处理，对延时较小的历史回放视频进行通知视频帧同步模块(4)进行延时发帧处理；偏差较大延时较大的历史回放视频通过回放控制模块(5)通知回放代理模块(7)重置webrtc收包模块(8)、webrtc解码模块(9)、webrtc渲染模块(10)，进行强行同步；回放评估模块(4)接收回放控制模块(5)的快进与慢进进行调整丢帧策略，当检测到快进模块导致码流递增引发wetrtc视频回放服务丢包率过高时，对所有历史回放视频进行通知视频帧同步模块(4)进行丢帧处理；回放控制模块(5)：回放控制模块(5)接收回放代理模块(7)的回放速度控制，视频帧同步模块(2)通知视频存储模块(1)回放控制速度读取数据，通知视频帧同步模块(2)按照回放速度进行同步控制；回放控制模块(5)接收回放代理模块(7)收集浏览器的webrtc收包模块(8)的丢包率、webrtc解码模块(9)的帧数、webrtc渲染模块(10)的延时渲染帧数，转发给回放评估模块(4)；视频源(6)：能产生视频数据的设备，如监控视频摄像头、移动单兵设备、执法记录仪；视频源(6)把历史视频存储到视频存储模块(1)；回放代理模块(7)：回放代理模块(7)收集webrtc收包模块(8)的丢包率、webrtc解码模块(9)的帧数、webrtc渲染模块(10)的延时渲染帧数发送给回放控制模块(5)；接收用户的回放控制请求发送给回放控制模块(5)；接收回放控制模块(5)的重置请求，重置webrtc收包模块(8)、webrtc解码模块(9)、webrtc渲染模块(10)；webrtc收包模块(8)：webrtc收包模块(8)接收Webrtc发包模块(3)的视频包，并统计丢包率，发送给回放代理模块(7)；webrtc解码模块(9)：接收webrtc收包模块(8)的视频包，进行解码，解码后视频数据发送给webrtc渲染模块(10)；webrtc解码模块(9)统计解码帧数发送给回放代理模块(7)；webrtc渲染模块(10)：接收webrtc解码模块(9)的视频数据进行渲染，webrtc渲染模块(10)发送延时渲染帧数。