[发明专利]一种基于RTP封装的AVS音视频预同步方法

说明书

技术领域

本发明涉及流媒体同步领域，尤其涉及到RTP封装传输的AVS音视频媒体同步领域。

背景技术

AVS(Audio Video coding Standard，音视频编码标准)是数字音视频编解码技术标准工作组制定的数字音视频编码标准。AVS标准包括系统、视频、音频、数字版权管理、移动视频等 9个部分。AVS多媒体通信系统多在不保证QoS（Quality of Service，服务质量） 的分组交换网络上进行实时多媒体数据的传输，它们的用户都希望有很好的服务质量保证，但由于网络的不可靠性和传输时延等因素，实时数据通信过程中经常会遇到诸如分组丢失、乱序、抖动、重复等一系列问题。为了能在网络中有效地传输实时数据，IETF（Internet Engineering Task Force，Internet工程任务组）开发了RTP（Real-time Transport Protocol，实时传输协议）。RTP为交互式音频、视频等具有实时特性的数据提供端到端的传送服务，包括两个关系密切的协议RTP和RTCP(Real-time Transport Control Protocol，实时传输控制协议)。

RTP是用于Internet上针对多媒体数据流的一种传输协议，但RTP本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠RTCP提供这些服务。RTCP和RTP一起提供流量控制和拥塞控制服务。服务器利用RTCP信息动态地改变传输速率，甚至改变有效载荷类型。RTP和RTCP配合使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数据。

为了解决AVS音视频在网络传输中时延抖动产生的同步问题，通常采用的方法是在接收端添加抖动缓冲区。但是无论添加的是接收RTP包的缓冲区，解码缓冲区，图像显示缓冲区，还是最近提出的双缓冲区，虽然都能在一定程度上降低时延抖动，但多是单一性地通过改变缓冲区大小来消除媒体内的时延抖动，然后在图像显示缓冲区，根据音视频回放时间是否一致进行丢帧或重复显示一帧图像，但实际的同步效果并不理想。所以本发明提出了一种更为有效的方法来解决由于时延抖动所产生的同步问题，不再单纯依赖于调整缓冲区的大小来实现媒体的同步回放。该方法是在解RTP包之前进行一次预同步，从而保证了整体的音视频同步。

发明内容

本发明提供了一种基于RTP封装的AVS音视频预同步方法。用于在AVS系统本身进行音视频同步之前进行一次预同步，通过建立RTP音视频包基于绝对回放时间区间的映射，迅速确定出音视频的媒体间和媒体内的失步情况，并做出相应调整，从而达到音视频同步效果。

本发明的目的在于对经过RTP封装发送的AVS音视频进行同步。由此，本发明针对AVS系统和RTP包，RTCP包的特点，在AVS系统对音视频进行精确同步前，充分利用RTP包包头字段的时间戳、数据类型、帧数量和RTCP包包头的时间戳信息对音视频进行一次预同步，保证达到总体的音视频同步效果。

需要说明的是，AVS的音频和视频都是经RTP封装发送的，对应地分别封装成RTP音频包和RTP视频包，文中不具体指出是哪种包时，我们说成RTP音视频包或RTP包。接收RTP音频包的缓冲区叫做音频缓冲区，接收RTP视频包的缓冲区叫做视频缓冲区，文中不具体指出哪种缓冲区时，我们说成音视频缓冲区或缓冲区。音频缓冲区的RTP音频包相对于某一个RTP视频包形成的映射块叫做音频映射块，视频缓冲区的RTP视频包相对于某一个RTP音频包形成的映射块叫做视频映射块，文中不具体指出是哪种映射块时，我们统一说成映射块。还需指出的是映射块就是由一个或多个RTP包和一个缺失序列号标记(若映射块没有缺失包，则不做缺失序列号标记)组成。文中要处理的是音频媒体和视频媒体，在没有具体指出哪种媒体时，统一用媒体表示。SR包是一种RTCP包。本发明需要RTP打包时在包头字段扩展一字节，用于标识该RTP包封装的帧数量（视频帧用帧头代表帧数量）。如不特别指出，文中出现的符号单位都是毫秒。

一种基于RTP封装的AVS音视频预同步方法，其包括以下步骤：

步骤1. 接收RTP音视频包： 

启动接收RTP音视频包的线程，打开音频缓冲区，设其初始值大小为Am；打开视频缓冲区，设其初始值大小为Vm，准备接收新来的RTP音频包和RTP视频包；

步骤2. 分析包迟到性并处理：