[发明专利]一种多媒体帧的处理方法及装置

说明书

技术领域

本发明涉及多媒体通信领域，尤其涉及一种多媒体帧的处理方法及装置。

背景技术

数字电视系统中，发射端的编码器对音频模拟信号或者视频模拟信号编码得到音频帧或者视频帧，在接收端由解码器对音频帧或者视频帧解码。为了保证发射端的编码器和接收端的解码器正常工作，编码器和解码器的频率和相位要保持一致。

下面分别介绍编码器和解码器的工作方式。

在发射端，音频模拟信号或者视频模拟信号由编码器按照MPEG-2的标准，经过抽样、量化及压缩编码，形成基本码流ES(Elementary Stream，ES)，该ES是不分段的连续码流。把该ES分成段，加上相应的头文件并打包，形成分组基本码流PES(Packet Elementary Stream，PES)，在该PES的包头信息中包含有显示时间标签PTS(Presentation Time Stamp，PTS)和解码时间标签DTS(Decoding Time Stamp，DTS)。在传输时，将该PES包加上相应的头文件，再打包成188字节或者204字节的传输流TS(Transport Stream，TS)，该TS的包头中包含节目时钟参考(Program Clock Reference，PCR)，该PCR是根据编码器时基采样产生的。其中，一个PES即为一个音频帧或者一个视频帧。

在接收端，解码器根据TS数据包解码得到音频帧或者视频帧，并从该TS数据包中提取出PCR，并根据提取出的PCR恢复系统时钟(System Time Clock，STC)，该STC为解码器时基，从而保证了编码器和解码器的频率和相位一致。解码器从音频帧或者视频帧中提取出音频帧对应的PTS或者视频帧对应的PTS。根据音频帧对应的PTS或者视频帧对应的PTS对音频帧或者视频帧进行播放处理。播放处理的具体实现方式可以是：比较根据STC确定的音频帧或者视频帧的接收时刻与PTS指示的时刻之间的时间差值，如果该时间差值在预设门限内，则进行同步播放处理；如果该时间差值超过预设门限，则进行非同步播放处理。同步播放处理时，需要对每个音频帧或者视频帧都计算跳帧或重复帧的帧数。跳帧或重复帧的帧数可以由根据STC确定的音频帧或者视频帧的接收时刻与PTS指示的时刻之间的时间差值，除以每帧播放的平均时间计算出来。如果计算出的跳帧或重复帧的帧数小于1，则不进行跳帧或重复帧处理；否则，按照计算出的帧数进行跳帧或重复帧处理。

现有技术中，上述预设门限通常设置得较大，因为如果设置较小的预设门限，会导致同步播放与非同步播放之间频繁切换。

但是，发明人发现，解码器接收到的码流可能不稳定，这种情况下，根据STC确定的音频帧或者视频帧的接收时刻与PTS指示的时刻之间的时间差值也不稳定，通常会在很短的时间内发生较大变化，在对这种不稳定的码流进行同步播放处理时，根据时间差值计算出的跳帧或重复帧的帧数大于1的几率较大，使得播放的画面不连续，直至上述时间差值大于预设门限时，才会进行非同步播放处理。

综上，码流存在PTS和STC之间差值发生突变的情况，即根据STC确定的音频帧或者视频帧的接收时刻与PTS指示的时刻之间的时间差值在瞬间增大，如果此时根据STC确定的音频帧或者视频帧的接收时刻与PTS指示的时刻之间的时间差值又恰好在预设门限内，这样通过同步播放处理计算出来的跳帧和重复帧的帧数就会瞬间增加，导致播放画面不连续。

发明内容

本发明实施例的目的是提供一种多媒体帧的处理方法及装置，用于解决码流存在PTS和STC之间的差值发生突变，但根据STC确定的音频帧或者视频帧的接收时刻与PTS指示的时刻之间的时间差值在预设门限内，仍然对突变的码流进行同步播放，导致播放画面不连续的问题。

本发明的目的是通过以下技术方案实现的：

一种多媒体帧的处理方法，包括：

判断缓存队列中的多媒体帧的时间差值是否发生突变，所述时间差值为多媒体帧的显示时间标签指示的时刻与多媒体帧的接收时刻的差值，所述缓存队列由按接收时刻排序的N个待处理的多媒体帧组成，N为整数；

如果所述缓存队列中有时间差值发生突变的多媒体帧，对本处理周期内的M个待处理的多媒体帧进行非同步播放处理，所述M个待处理的多媒体帧为所述缓存队列中按接收时刻升序排列的前M个多媒体帧；

如果所述缓存队列中没有时间差值发生突变的多媒体帧，且所述M个待处理的多媒体帧的时间差值在预设门限内，对本处理周期内的M个待处理的多媒体帧进行同步播放处理。