[发明专利]用于视频流拼接的方法及装置

说明书

相关申请的交叉引用 

本申请要求2007年1月8日提交的美国临时申请序列号第60/883,852号的权益，通过引用将其全部内容并入于此。 

技术领域

本原理总地涉及视频编码与解码，并更具体地涉及用于视频流拼接的方法及装置。 

背景技术

视频流拼接是经常使用的例程。流拼接的典型应用包括例如视频编辑、并行编码和广告插入等等。 

由于经常通过通道(channel)传输经过压缩的视频流，因此需要在编码器和解码器处使用缓冲机制来对比特率变化进行平滑。物理缓冲器的大小是有限的，因此，编码器应当约束比特率变化以满足在缓冲器限制之内。视频编码标准未要求特定编码器或解码器缓冲机制，但指定了编码器控制比特率波动，使得给定缓冲器大小的假定参考解码器(hypothetical reference decoder，HRD)将解码视频比特流，而不遭受缓冲器上溢或下溢。 

假定参考解码器是基于理想化的解码器模型的。假定参考解码器的目的在于对已编码的流中比特率随时间的变化设置基本的缓冲约束。这些约束然后使得较高的层能够复用流，并使得节省成本的(cost-effective)解码器能够实时解码流。假定参考解码器一致性(conformance)是在国际标准化组织/国际电工委员会(ISO/IEC)运动画面专家组-4(MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟电信部门(ITU-T)H.264建议(下文中“MPEG-4AVC标准”)中的规范性的部分，因此，任何源的符合MPEG-4AVC标准的流内在地满足假定参考解码器要求。 

拼接符合MPEG-4AVC标准的视频流(下文中“MPEG-4AVC标准流”)的主要挑战之一是：确保利用两个独立的源流拼接的流仍然满足如由 MPEG-4AVC标准所定义的假定参考解码器要求。然而，使用现有规范，不能保证由已经符合HRD的源流组合成的流仍然将符合HRD。因此，拼接MPEG-4AVC标准流不是简单的剪切-粘贴操作。 

在MPEG-4AVC标准中指定了假定参考解码器。如MPEG-4AVC标准中所定义的，假定参考解码器模型防止已经按顺序编码的MPEG-4AVC流在解码器处导致缓冲器上溢或下溢。然而，已经认定了在当今的假定参考解码器模型中阻止拼接后的流符合假定参考解码器的三个问题。这些问题是： 

1.接合点之后的第一画面从编码画面缓冲器中移除的不正确的移除时间。 

2.当与具有不同的初始解码画面缓冲器延迟的源流接合时的不正确的画面输出定时。 

3.违背等式C-15和C-16，这可能导致缓冲器下溢或上溢。 

因此，根据本原理，这里提供的方法和装置至少解决现有技术的上述缺陷，以确保拼接后的流是符合假定参考解码器的。 

现在将提供与本原理有关的一些术语及其对应的定义。 

t_r，n(n)：访问单元n的标称(nominal)移除时间，即，用于从编码画面缓冲器(CPB)中移除访问单元n的移除时间。 

t_r(n)：访问单元n的实际移除时间，即，用于从编码画面缓冲器移除访问单元n并立刻解码的实际时间。 

t_ai(n)：访问单元n的最初到达时间，在该时间，访问单元n的第一比特开始进入编码画面缓冲器。 

t_af(n)：访问单元n的最终到达时间，在该时间，访问单元n的最后一比特进入编码画面缓冲器。 

t_o，dpb(n)：解码画面缓冲器(DPB)输出时间，即，访问单元n从解码画面缓冲器输出的时间。 

num_units_in_tick是序列参数集中指定以频率time_scale Hz操作的时钟的时间单元的数量的语法元素，所述频率time_scale Hz对应于时钟计时单元(clock tick)计数器的一个增量(称为时钟计时单元)。num_units_in_tick应当大于0。时钟计时单元是在编码数据中可以表示的最小时间间隔。例如，当视频信号的时钟频率是60000÷1001Hz时，time_scale可以等于60000，并且num_units_in_tick可以等于1001。 

time_scale是在一秒内经过的时间单元的数量。例如，使用27MHz时钟来测量时间的时间坐标系统具有27000000的time_scale。time_scale应当大于零。