[发明专利]用于高效、低延迟视频编码的运动自适应帧内刷新

说明书

一种方法包括：响应于确定与第一图像集合相关联的全局运动(120)不超过指定阈值，对所述第一集合中的每个图像进行帧内刷新编码(410)，以使得所述图像的刷新区域的位置相对于所述第一集合中的先前图像的刷新区域的位置在空间上移动。所述方法还包括：响应于确定与第二图像集合相关联的全局运动(120)超过所述指定阈值，对所述第二集合中的每个图像进行帧内刷新编码(418)，以使得所述第二集合中的每个图像的刷新区域的位置被固定为紧邻图像边缘，所述图像边缘位于与所述第二集合相关联的所述全局运动的方向上。

相关申请的交叉引用

本申请要求2016年4月29日提交的美国临时专利申请号62/329,602和2016年6月21日提交的美国专利申请号15/188,067的优先权；所述申请的全部内容据此以引用的方式并入本文。

背景技术

基于块的视频编码使用连续图像中的视频块之间的空间和时间冗余来提供有效的视频编码。通常，图像流被编码为完全帧内编码图像(I-图像)和帧间编码图像或预测图像的集合，诸如前向预测图像(P-图像)和双向预测图像(B-图像)。因为I-图像是完全帧内编码的，而P-图像和B-图像至少部分地是预测性地帧间编码的，所以I-图像的编码比P-图像和B-图像的编码占用显著更多的位，因此可能会对包含这些编码图像的传输位流的位速率、抖动和等待时间产生负面影响。一种改善等待时间和抖动的方法是实现帧内刷新模式，在所述模式中，对图像集合中的每个图像的区域进行帧内编码或“刷新”，而对所述图像的其余区域进行预测性地帧间编码。在帧内刷新模式中，图像之间的运动预测被限制为已经被刷新的集合中的先前图像的区域(此类区域通常被称为“净”区域)，并且被阻止使用尚未刷新的先前图像的区域(这些区域通常被称为“脏”区域)。在常规的帧内刷新模式中，完全帧内编码的区域(即，“刷新”区域)是固定大小并且在帧内刷新图像集合中的连续图像之间移动位置。虽然帧内刷新技术的目标是保持所得的编码位流的位速率平稳，但是在显示内容中存在全局运动的情况下，常规的帧内刷新技术中的刷新区域的位置移动通常可能导致显著的位速率变化或抖动，如经常在虚拟现实(VR)应用或其他应用中发生的，其中“相机”的大量运动表示所渲染图像的透视图。

附图说明

通过参考附图，可以更好地理解本公开，并且它的许多特征和优点对本领域技术人员来说变得显而易见。在不同附图中使用的相同附图标号指示类似或完全相同的项目。

图1是示出根据一些实施方案的运动自适应帧内刷新编码技术以及这种技术与常规帧内刷新编码技术的比较的图。

图2是示出根据一些实施方案的用于基于与图像相关联的全局运动估计来动态设置要编码的图像的刷新区域的宽度的技术的图。

图3是示出根据一些实施方案的利用运动自适应帧内刷新编码的视频处理系统的框图。

图4是示出根据一些实施方案的用于对视频流进行双模式帧内刷新编码的方法的流程图。

具体实施方式

当通过头戴式显示器(HMD)设备向用户显示虚拟现实(VR)或增强现实(AR)内容时，VR和AR系统通常依赖于“存在”感。提供这种存在感的一个重要因素是编码、传输、解码和显示包含VR或AR内容的图像所涉及的等待时间或抖动。因此，减少表示编码视频流的位流的传输中的等待时间或抖动可以相应地减少视频处理流水线中的总等待时间和抖动，因此在VR和AR应用中提供改进的“存在”。为此，以下描述采用“运动自适应帧内刷新模式”的视频处理系统，所述模式考虑了由于例如用于显示内容的HMD设备中的运动或虚拟相机的其他运动而在显示内容中存在的全局运动，所述虚拟相机表示藉以渲染图像的透视图。在至少一个实施方案中，视频处理系统确定对图像或图像集合的全局运动的估计。例如，根据来自HMD设备本身的运动传感器数据，或者来自对图像内的内容的运动或连续图像之间的内容的运动的分析来确定这种全局运动估计。