[发明专利]基于RTP/RTCP反馈预警算法实现音视频同步方法

说明书

技术领域

本发明属于音视频同步技术领域，涉及一种音视频同步方法。

背景技术

实时传输协议RTP：是针对Internet上多媒体数据流的一个传输协议, 由IETF(Internet工程任务组)作为RFC1889发布。RTP被定义为在一对一或一对多的传输情况下工作，其目的是提供时间信息和实现流同步。实时传输控制协议RTCP：负责管理传输质量在当前应用进程之间交换控制信息。在RTP会话期间，各参与者周期性地传送RTCP包，包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料。h.264标准是ITU-T所定义的最新的视频编码标准，被称作ISO/IEC14496-10或MPEG-4 AVC,是由动态图像专家组和国际电信联盟的视频编码专家组共同开发的新产品。

近年来,国内外研究者针对存储媒体、媒体播放器、视频会议、分布式交互多媒体系统等不同的应用对多媒体同步技术进行了广泛的研究,但都是基于不同的应用环境,迄今为止,尚未有通用的同步机制与模式。

发明内容

本发明针对现有技术的不足，提供了一种基于RTP/RTCP的反馈预警算法在H.264流媒体中实现音视频同步的方法。

本发明解决技术问题所采取的技术方案为：

步骤(1).音视频信号采集。

步骤(2).音视频信号编码。

步骤(3).音视频信号的封包，打上相应的时间戳信息并发送。

步棸(4).根据RTP包中时间戳信息对音视频信号解码、播放。

步棸(5).将播放同步信息利用RTCP协议传送回服务器端，服务端根据反馈信息调整发送策略实现音视频同步，调整发送策略具体是：

根据人耳的听觉特性，将音视频偏差分为四个区域：

A.同步区：偏差在-60ms～+60ms；

B.预警调整区：偏差在-120ms～-60ms和60ms～120ms；

C.调整区：偏差在-160ms～-120ms和120ms～160ms；

D.不同步区：偏差<-160ms和偏差>160ms。

对于同步区正常播放。

对于预警调整区，调整方法如下：

如果视频帧落后，则执行如下步骤1-3：

步骤1，检查音视频缓冲区占用率；

步骤2，如果视频缓冲区占用率大于等于50%，调整播放策略，只播放关键帧，发送端不用做调整；如果视频缓冲区占用率低于50%，查看音频缓冲区占用率，如果音频缓冲区占用率大于等于50%，则提高发送端视频帧发送比例，将视频帧比例提高40%-60%；

步骤3，若音视频帧播放缓冲区的占用率都小于50%，提高10%-%20视频帧发送比例。

对于调整区，已经到了临界区的边缘，即将出现音视频不同步现象；假设视频帧落后，调整算法如下：

步骤4，调整播放器的播放策略，只播放关键帧；

步骤5，调整服务器端音视频帧的发送比例，具体调整方法如下：

步骤5-1，检查音视频缓冲区占用率；

步骤5-2，如果视频缓冲区占用率大于等于50%，调整播放策略，只播放关键帧，发送端不用做调整；如果视频缓冲区占用率低于50%，查看音频缓冲区占用率，如果音频缓冲区占用率大于等于50%，则提高发送端视频帧发送比例，将视频帧比例提高60%-70%；

步骤5-3，若音视频帧播放缓冲区的占用率都小于50%，提高10%-%20视频帧发送比例。

对于不同步区，调整算法如下：

步骤6，调整客户端的播放策略，如果视频帧落后，在直接丢弃，如果视频帧超前，则采取重播策略；

步骤7，调整服务器端的发送比例，具体调整方法如下：

步骤7-1，检查音视频缓冲区占用率；

步骤7-2，如果视频缓冲区占用率大于等于50%，调整播放策略，只播放关键帧，发送端不用做调整；如果视频缓冲区占用率低于50%，查看音频缓冲区占用率，如果音频缓冲区占用率大于等于50%，则提高发送端视频帧发送比例，将视频帧比例提高70%-85%；

步骤7-3，若音视频帧播放缓冲区的占用率都小于50%，提高10%-%20视频帧发送比例。

本发明的有益效果：

（1）对不同区的视频信号采取不同处理方式，提高了视频质量；

（2）具有较低的复杂度,能适用于高丢包率、时延抖动大、资源受限的多媒体通信。

附图说明

图1为视频监控系统的流程图；