[发明专利]编码器辅助式自适应视频帧内插

说明书

分案申请的相关信息

本申请为申请日为2005年8月18日，申请号为PCT/US2005/029649，发明名称为“编码器辅助式自适应视频帧内插”的PCT申请进入中国国家阶段后申请号为200580035535.1的中国发明专利申请的分案申请。

本申请案主张2004年8月18日申请的第60/602,698号美国临时申请案的优先权，其全文以引用的方式并入本文中。

技术领域

本发明涉及数字视频编码和解码，且更特定来说，涉及用于为例如帧速率转换的应用内插跳过的帧的技术。

背景技术

已建立许多不同的视频编码标准来用于对数字视频序列进行编码。例如，运动图像专家组(Moving Picture Experts Group，MPEG)已开发出包括MPEG-1、MPEG-2和MPEG-4的许多标准。其它实例包括国际电信联盟(International TelecommunicationUnion，ITU)H.263标准，和新兴的ITU H.264标准。这些视频编码标准一般通过以压缩的方式对数据进行编码来支持视频序列的改进的传输效率。压缩减少了需传输的数据的总量，以用于有效地传输视频帧。

例如，MPEG-4、ITU H.263和ITU H.264标准支持利用连续视频帧之间的类似性(被称作时间或帧间相关性)来提供帧间压缩的视频编码技术。帧间压缩技术通过将视频帧的基于像素的表示形式转换为运动表示形式来利用帧上的数据冗余。使用帧间技术来编码的帧被称作P(“预测”)帧或B(“双向”)帧。使用非预测性的空间压缩来对称作I(“内部”)帧的某些帧进行编码。

为了满足低带宽要求，例如视频电话或视频流的某些视频应用通过使用跳帧以较低的帧速率对视频进行编码来降低位速率。有意跳过的帧可被称作“S”(“跳过的”)帧。遗憾的是，低帧速率视频可能会产生运动急动(jerkiness)形式的假象。因此，通常在解码器处使用帧内插(也称作帧速率上转换(FRUC))来内插有意跳过的帧的内容。

已开发出多种FRUC技术，且所述FRUC技术可分为两类。第一类FRUC包括帧重复(FR)和帧平均化(FA)，其两者均使用视频帧的组合而不考虑运动。这些算法在没有运动的情况下提供可接受的结果。然而，当存在明显的帧间运动时，FR倾向于产生运动急动，而FA会产生模糊的物体。

第二类FRUC依赖使用运动的高级转换技术。在这类FRUC中，内插帧的质量取决于估计运动与真实物体运动之间的差值。在典型的FRUC应用中，解码器根据用于相邻帧的运动信息获得用于内插帧的运动信息。然而，从相邻帧的运动向量直接获得的S帧的运动向量并不足够准确，且可导致内插帧中有各种假象。同样，对于帧内编码块，不存在可用于内插S帧的运动信息，进而在解码器处一般需要额外的估计或处理额外开销以用于获得可靠的内插。

发明内容

本发明针对用于视频帧的解码器辅助式自适应内插的技术。根据所揭示的技术，编码器产生辅助解码器来内插跳过的视频帧(即S帧)的信息。所述信息允许解码器减少内插帧中的视觉假象，且进而实现改进的视觉质量。

所述信息可包括内插方程标号，其针对S帧中的个别视频块来识别将由解码器使用的内插方程，以实现更好的结果。所述信息还包括用于S帧的前向运动向量和差值信息。

视情况而定，为节省带宽，可仅针对符合用于编码器辅助式内插的差值标准的选定的视频块传输方程标号。可在解码器处根据默认内插技术来内插不具有方程标号的其它视频块。

在一个实施例中，本发明提供一种视频编码方法，其包含：产生辅助视频解码器来内插跳过的视频帧的信息；和对视频帧中的信息进行编码以用于传输到视频解码器。

在另一实施例中，本发明提供一种视频解码方法，其包含：接收辅助内插跳过的视频帧的信息，其中将所述信息编码在视频帧中；和应用所述信息以内插所述跳过的视频帧。

在又一实施例中，本发明提供一种视频编码器，其包含：分析单元，其分析跳过的视频帧，且产生辅助视频解码器来内插所述跳过的视频帧的信息；和汇编单元，其将所述信息编码在视频帧中以用于传输到所述视频解码器。

在额外的实施例中，本发明提供一种视频解码器，其包含内插单元，其接收辅助内插跳过的视频帧的信息，其中将所述信息编码在视频帧中，且应用所述信息以内插所述跳过的视频帧。

本发明还涵盖计算机可读媒体，其包含促使形成视频编码器或解码器的一个或一个以上处理器执行本文所述的技术中的任一种技术的指令。