[发明专利]平滑时分流媒体传输码率的方法及装置

说明书

技术领域

本发明涉及移动多媒体领域，尤其涉及移动多媒体系统中对时分流媒体码率平滑处理的方法及装置。

背景技术

随着互联网和通讯技术的不断发展，人们对于移动系统的个性化需求也日益增多，移动多媒体技术就是在这一需求下顺势而生。我国关于移动多媒体技术的行业标准也已陆续正式发布，形成了关于移动多媒体的行业规范，促进了移动多媒体技术的产业化发展。

在移动多媒体技术中，信道层和复用层的标准规范和技术是最为核心的两个部分，在复用层规范中，复用子帧是一个重要的内容。在复用子帧中，视频和音频等媒体流采用统一基准的时间线，同一个复用子帧里的媒体流共用一个起始时间，视频单元和音频单元利用相对于起始时间的相对时间来标记本单元的时间戳。在中华人民共和国广播电影电视行业标准《移动多媒体广播第2部分：复用》中也规定，采用复用子帧来封装视频、音频等流媒体数据进行传送。复用子帧以1秒为时间间隔进行传送，被复用子帧封装的流媒体因此具有时分特性，变成时分流媒体。

由于时分流媒体按一定的时间间隔传送一个帧(子帧)结构，如果按媒体时间戳的同样时间区间来封装帧(子帧)结构，则由于媒体本身的特性，将会导致码率不平滑。例如在视频关键帧附近，码率会比较大，而在非关键帧附近，码率会比较小。而帧(子帧)结构传送的物理信道又往往要求码率限定在某个范围之内，这就需要对码流进行必要的平滑处理，以便可以最好地利用信道容量。

而一个不容回避的现实是，现有的码率平滑技术通常仅针对视频码流单独做码率平滑，平滑后传送的码流将不严格依从媒体流的时间戳，对于音频码流则不做平滑处理，仍按媒体时间戳传送。如果直接将这种传统码率平滑方式引入《移动多媒体广播第2部分：复用》的标准规范，则会导致同一个复用子帧内的视频、音频媒体流的时间戳相差较大，从而使得系统在从复用子帧取媒体流后的处理过程变得十分复杂，甚至无法有效处理视频和音频媒体流。

发明内容

本发明所要解决的技术问题是现有技术存在的同一个复用子帧内视频、音频媒体流的时间戳相差较大、后继处理过程复杂的缺点，以期提供一种能够平滑媒体流码率、同时保持同一个帧(子帧)结构中各媒体流的时间戳区间相差足够小、并保持同一个帧(子帧)内各媒体流的起始同步。

本发明提供了一种平滑时分流媒体传输码率的方法，预先设定第一缓冲区和第二缓冲区，并设定视频流平滑码流码率、音频码流平均码率和信道带宽，包括以下步骤：

步骤一：在时分帧或子帧周期到的时候，封装时分帧或子帧；

步骤二：视频流数据输入缓冲区，基于视频流平滑码流码率、音频码流平均码率和信道带宽，收集将要封装到下一个子帧的视频流数据，并取出视频流数据，将其放到第一缓冲区；

步骤三：如果当前无缓存的前次收集的视频数据，则用第一缓冲区直接替换第二缓冲区，并返回步骤一，开始下一周期；如果第二缓冲区中有前次收集的视频数据，则以前次收集的视频数据媒体时间戳区间获取音频媒体数据，将视频和音频媒体数据封装到时分帧或子帧结构中，用第一缓冲区替换第二缓冲区，并返回步骤一，开始下一周期。

在本发明所述方法中，所述步骤二进一步包括以下步骤：

步骤(a)：查询第一缓冲区，如非空，则清空；否则记录视频流数据输入第一缓冲区中的第1个单元时间戳，并计算时分帧或子帧的时间间隔内对应于视频流平滑码流码率的视频数据总量；

步骤(b)：从视频流数据输入缓冲区取一个视频数据单元，计算第一缓冲区中的视频数据总量与当前视频数据单元的数据量之和，如果取空则退出；

步骤(c)：如果数据量之和大于视频数据总量，则停止取视频数据；否则计算当前视频数据单元的时间戳与第1个单元时间戳的差值，将所述音频码流平均码率与所述差值相乘所得的乘积与所述数据量之和相加得到的结果作为可能的视频、音频数据量总和；如果结果大于信道带宽，则停止取视频数据；如果结果小于等于信道带宽，则将当前视频数据单元放到第一缓冲区，返回步骤(b)。

在本发明所述方法中，在多路音频码流情况中，取多个音频流的码率总和来构成音频码流平均码率。

在本发明所述方法中，所述步骤三中，如果第二缓冲区中有前次收集的视频数据，则可进一步包括：

步骤(a)：对于第二缓冲区中前次收集到的视频数据，取其首、尾时间戳为基准，保留必要余量后，采用所述首时间戳与必要余量的差值，和所述尾时间戳与必要余量的和值作为新的时间戳区间，重新收集新的时间戳区间内的音频数据，如果有早于首时间戳与必要余量的差的音频数据，则丢弃之；