[发明专利]具有用于局部化解码的时间上受约束的空间依存性的视频编码

说明书

本申请涉及与本申请在同一日期提交、暂时由代理人案号IDF 081990U2述及的题为“VIDEO DECODING USING TEMPORALLY CONSTRAINED SPATIAL DEPENDENCY(使用时间上受约束的空间依存性进行视频解码)”的美国专利申请，该申请被转让给本申请的受让人并出于所有用途通过全文引用而明确地包括于此。

技术领域

本公开涉及视频编码，尤其涉及用于经编码视频的感兴趣区(ROI)处理。

背景

可在广泛范围的设备中提供数字视频能力，这些设备包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(PAD)、膝上型计算机或台式计算机、数码相机、数字记录设备、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话、及类似物。数字视频设备实现诸如在各种标准中描述的视频压缩技术，这些标准包括MPEG-2、MPEG-4、或高级视频编码(AVC)第10部分的ITU-T H.264/MPEG-4。视频压缩技术可执行空间预测和时间预测以降低冗余，并且更具效率地传达数字视频。

感兴趣区(ROI)处理可涉及与其他区划不同地记录或编码视频帧的一个或多个所选区划。作为示例，可以用比其他非ROI区划更高的质量来优先地编码ROI。采用对ROI的优先编码，相比于非ROI区域，用户可以更清楚地观看ROI。作为另一示例，可以在视频记录时执行缩放平摇以增强所记录视频场景内ROI的可视性或质量。在任一情形中，ROI在视频记录或编码阶段被建立并随后在解码和显示给定视频帧之际被观看。

概述

一般而言，本公开描述约束经编码视频块的空间依存性的时间传播以支持视频帧中的局部化解码的视频编码技术。空间依存性在一系列参考帧上的时间传播可能影响解码器在帧内执行局部化解码的能力。例如，对视频帧的ROI的局部化解码可要求驻留在该ROI之外的经解码参考块的可用性。通过约束空间依存性的时间传播，视频编码器可减少或消除解码器访问ROI之外的经解码参考块的需要。

该技术可跟踪已被编码的个体视频块的时间空间依存性值。经编码视频块可用作对帧中要编码的其他视频块进行预测编码的候选参考块。在编码当前视频块时，编码器标识一组候选参考块并且确定这些候选参考块的时间空间依存性值是否超过时间空间依存性限制。若如此，则编码器可强制当前视频块被帧内编码而不是帧间编码，由此限制空间依存性的时间范围并支持局部化的仅ROI解码。

本公开还提供了用于解码视频块的技术。基于用户或应用的ROI选择，视频解码器可从先前帧访问ROI内的经解码块。在一个示例中，通过在所有视频编解码器(“codecs”)都支持的用户数据字段中嵌入块位置查找表，解码器可随机地访问块以用于解码。

在一个示例中，本公开提供了一种确定视频编码器中的编码模式的方法，包括确定用于对视频帧中的当前块进行帧间编码的候选参考视频块的时间空间依存性值。该方法还包括将时间空间依存性值与阈值作比较。该方法还包括基于该比较来选择用于当前块的编码模式。

在另一示例中，本公开提供了一种视频编码设备，该视频编码设备包括：存储设备，该存储设备存储用于对视频帧中的当前块进行编码的候选参考块的时间空间依存性值；以及视频编码器，该视频编码器确定候选参考视频块的时间空间依存性值、将该时间空间依存性值与阈值相比较、并基于该比较来选择用于当前块的编码模式。

在一附加示例中，本公开提供了一种其上编码有指令的计算机可读介质，该指令在执行时致使视频编码器内的处理器确定用于对视频帧中的当前块进行帧间编码的候选参考视频块的时间空间依存性值。该计算机可读介质还包括致使处理器将该时间空间依存性值与阈值相比较的指令。该计算机可读介质还包括致使处理器基于该比较来选择用于当前块的编码模式的指令。

在另一个示例中，本公开提供了一种视频编码设备，该视频编码设备包括用于确定用于对视频帧中的当前块进行帧间编码的候选参考视频块的时间空间依存性值的装置。该编码器还包括用于将时间空间依存性值与阈值作比较的装置。该编码器还包括用于基于该比较来选择用于当前块的编码模式的装置。

在一附加示例中，本公开提供了一种在视频解码器中执行的方法。该方法包括接收定义视频帧的感兴趣区(ROI)的数据，接收该ROI中的至少一个视频块的时间空间依存性值(TSD)，以及至少部分地基于该TSD值来解码该ROI中的视频块。