[发明专利]多媒体视音频流唇音同步的调测方法

说明书

技术领域

本发明涉及唇音同步的调测方法，尤其涉及多媒体通讯视音频流唇音同步的调测方法。

背景技术

因特网作为包交换网络，不能如E1或者ISDN这些基于电路交换的网络那样提供及时的传送，对于多媒体应用，如果不采用正确的控制方法，会导致原始数据的时间关系严重扭曲，具体表现为唇音不同步，大的延迟导致用户交互的不适应和困难。如何通过自适应算法，有效地通过回放缓冲区控制来抵消网络抖动带来的影响，并且同时做到端与端的延迟最小化，是一个值得探讨并且具有重大实践意义的课题，已经引起了很多学术和工程上的关注，也提出了很多相关的算法，这些算法对网络延迟和抖动进行了建模，根据一定的准则建立了一些目标，并给出了一定的计算机模拟，但这些算法直接用于工程实践存在一定的问题，不能满足工程上的简单合理并且鲁棒的要求。下面对工程上常用的一些控制算法做简单回顾并给出优缺点分析。

传统的互联网多媒体唇音同步调测方法主要有以下几种：

1、手动调整唇音同步

这种算法依赖用户的主观感受，在很多媒体播放器中都提供了该选项，用户通过手工调整音频缓冲区长度来获得一定程度的唇音同步。该方法的优点是简单易行，并且人为判断比算法判断更能符合人的主观感受。在一些场合下，这种算法很有优势，比如在网络延迟固定的情况下，一次调整基本就能够使得唇音同步最佳化。缺点是该方法需要人工干预，并且在IP网络下，由于延迟的变化，调整值很容易失效。

2、通过音频缓冲区调整来获得唇音同步

这种方法在简单的多媒体应用中，可以根据经验值调整音频缓冲区长度来获得近似的唇音同步。在媒体播放过程中，由于视频可以在一帧的时间内播放几帧内容，而音频必须播放满一定时间，所以可以通过把音频缓冲控制在一定范围内来获得近似同步，比如缓冲80ms～160ms的数据，并且在监测到网络状态不好的情况下，通过增加缓冲区长度以消除网络抖动的影响，在网络好的情况下，减少缓冲区长度以降低端到端的延迟。网络状态的判断可以根据所使用的协议提供的探测或者反馈功能(RTP实时传输协议中规定的抖动计算过程)来评估。该方法是目前互联网多媒体播放中比较常用的方法，简单易行，易于编程，缺点就是比较盲目，在一些特殊情况下鲁棒性不够，而且没有综合考虑视频信息，是一种“伪同步”。

3、根据全局时钟调整唇音同步

视音频同步，主要依赖于原始视音频信号时间关系的复现，如何记录或者获得这一原始时间关系，有以下几种方法：

A)在媒体流或封装中嵌入时钟信息。

在视音频生成的时候就在码流中嵌入时钟信息，在解码侧只要按照原始的时间对应关系恢复就可以了，这种方法被一些编解码器所采用，比如MPEG2就采用了PTS的概念，在播放的时候就基本不存在唇音同步问题。这种方法的缺点就是并非其他媒体编码规范也会嵌入时钟信息，如果视频和音频编码过程中相对于系统时钟的偏移是独立的，那么很难在解码侧建立这种媒体间的时间对应关系。

B)在额外信道发送同步信息

某些协议可以在带外数据中指明全局时钟相关的同步信息。比如针对RTP传输的RTCP(实时传输控制协议)规范中采用了发送者报告SR的方式给出了视音频同步信息，解码侧收到了一个SR报告后，就可以根据相关信息调整缓冲区来达到同步的目的。缺点就是可能有些协议不实现或者不强制实现这种同步机制，协议实现并不发送这种包含同步信息的带外数据，这种方法就无法使用。

发明内容

为了解决现有技术中存在的问题，本发明的目的在于提供一种多媒体视音频流唇音同步的调测方法，该方法能够有效控制多媒体流的唇音同步，同时为系统的Qos性能提供一个规范的量化标准。

为达到上述目的，本发明多媒体视音频流唇音同步的调测方法，包括如下步骤：

(1)在多媒体视音频流解码端真实时钟的基础上建立虚拟时钟模型；

(2)根据自适应延迟算法和同步控制算法的计算结果，调整所述虚拟时钟，获得多媒体视音频流唇音同步。

所述步骤(1)中建立虚拟时钟模型的方法为：

(11)设置虚拟时钟的初始值为收到的多媒体流的第一个MDU(媒体数据单元)的时戳；

(12)获取每一个抵达的MDU的生成时间和抵达时间；

(13)解码端将所述每一个抵达的MDU的生成时间作为其回放时间，将每一个抵达的MDU的抵达时间作为虚拟时钟采样，比较所述生成时间和抵达时间并重新调度回放时间，获得自适应的回放期限。

所述步骤(2)中，自适应延迟算法包括：