[发明专利]一种多媒体数据流同步控制的方法及装置

说明书

技术领域

本发明涉及无线通信领域中数据流的同步控制，尤其涉及一种多媒体数据流同步控制的方法及装置。

背景技术

随着无线通信网络的不断发展和终端功能的不断加大，手机多媒体应用越来越普及，并深受人们的喜爱，其中的手机电视直播更是各种多媒体数据流应用中的一个热点。目前，手机电视的多媒体数据流从信元到播放器主要经历以下环节：

信元→编码器→转码器→复用器→调制器→发射机→接收机→解调器→解复用器→播放器

在上述各个环节的网络传输过程中，多媒体数据流可能出现延迟，造成不同类型的多媒体数据帧之间的不同步现象发生。另外，在编码采样过程中，由于不同类型的媒体数据往往因编码采样频率的不同而造成播放时间上的不同步。例如，由音频数据和视频数据这两种常见类型的媒体数据组成的电视节目，当视频数据和音频数据不同步时，将造成电视节目中画面和声音无法相互吻合，出现画面超前于与该画面相对应的声音，或者画面滞后于与该画面相对应的声音的情况。

图1为实际情况下音频数据帧和视频数据帧的四种不同步类型的示意图。图1中，座标轴第一横轴对应于视频数据帧的时间戳Tv，座标轴第二横轴对应于音频数据帧的时间戳Ta，座标轴第三横轴对应于系统时间戳Ts。其中，Tvn表示第n视频数据帧的时间戳，Tan表示第n音频数据帧的时间戳，Tsn表示第n系统时间戳。理想情况下，在每个系统时间戳所在的时刻发送一个音频数据帧和一个视频数据帧。而在实际情况下，由于网络传输和编码采样频率的不同，从而造成了单个音频数据帧和单个视频数据帧的不同步，下面结合附图对四种音频数据帧和视频数据帧的不同步类型进行阐述：

图1中，Tv1表示第一视频数据帧的时间戳，Ta1表示第一音频数据帧的时间戳，Ts1表示第一系统时间戳，Tv1、Ta1、Ts1共同表示了实际情况下音频数据帧和视频数据帧不同步的第一种类型：

第一视频数据帧的时间戳Tv1和第一音频数据帧的时间戳Ta1均超前于系统时间戳。

Tv2表示第二视频数据帧的时间戳，Ta2表示第二音频数据帧的时间戳，Ts2表示第二系统时间戳，Tv2、Ta2、Ts2共同表示了实际情况下音频数据帧和视频数据帧不同步的第二种类型：

第二视频数据帧的时间戳Tv2和第二音频数据帧的时间戳Ta2均滞后于第二系统时间戳Ts2。

Tv3表示第三视频数据帧的时间戳，Ta3表示第三音频数据帧的时间戳，Ts3表示第三系统时间戳，Tv3、Ta3、Ts3共同表示了实际情况下音频数据帧和视频数据帧不同步的第三种类型：

第三视频数据帧的时间戳Tv3超前于第三系统时间戳Ts3，第三音频数据帧的时间戳Ta3滞后于第三系统时间戳Ts3。

Tv4表示第四视频数据帧的时间戳，Ta4表示第四音频数据帧的时间戳，Ts4表示第四系统时间戳，Tv4、Ta4、Ts4共同表示了实际情况下音频数据帧和视频数据帧不同步的第四种类型：

第四视频数据帧的时间戳Tv4滞后于第四系统时间戳Ts4，第四音频数据帧的时间戳Ta4超前于第四系统时间戳Ts4。

由于实际情况中同一时间段内的视频数据帧和音频数据帧的数目可能不相同，因此，上述Tv1、Ta1、Ts1，...，Tvn、Tan、Tsn是为了更清楚地描述四种视频数据帧与音频数据帧不同步的类型，而不是强调第n视频数据帧的时间戳Tvn与第n音频数据帧的时间戳Tan以及第n系统时间戳相互之间必须完全对应。实际情况下，系统将需要发送的视频数据帧序列与音频数据帧序列缓存起来，按时间先后顺序读取单个视频数据帧与单个音频数据帧，然后在每个系统时间戳所在时刻将该单个视频数据帧与单个音频数据帧发送，也就是说，在一个系统时间戳所在时刻附近仅有一个需要发送的单个视频数据帧和单个音频数据帧。

目前的多媒体数据流系统中，一般通过转码器对音频数据和视频数据进行同步控制，但是在音频数据和视频数据通过转码器实现同步之后，还需要被进一步传输到播放器，而在此传输过程中，又可能造成同步后的音频数据和视频数据再次不同步的情况发生，从而影响播放器的正常播放。因此，如何保证播放器可以比较连续的接收到同步的音频数据和视频数据是一个比较突出的问题。

发明内容

有鉴于此，本发明的目的在于提供一种多媒体数据流同步控制的方法及装置，来避免多媒体数据流播放过程中不同多媒体数据帧之间的不同步现象，达到改善多媒体数据流播放器的播放效果的目的。

本发明提供了一种多媒体数据流同步控制的方法，包括以下步骤：