[发明专利]使用参考帧重新旋转以及内容导向旋转选择的一或两者的视频处理装置以及相关视频处理方法

说明书

一种视频处理方法，包括：接收具有以360°虚拟现实投影格式表示的第一360°内容的第一输入帧；将第一内容导向旋转应用于所述第一输入帧来生成第一内容旋转转帧；对所述第一内容旋转帧进行编码来生成比特流的第一部分，包括生成第一重构帧并存储从所述第一重构帧推导的参考帧；接收具有所述360VR投影格式的第二输入帧；将第二内容导向旋转应用于所述第二输入帧来生成第二内容旋转帧；根据所述第一内容导向旋转以及所述第二内容导向旋转配置内容重新旋转；将所述内容重新旋转应用于所述参考帧来生成重新旋转参考帧；以及，由视频编码器对所述第二内容旋转帧进行编码来生成所述比特流的第二部分，包括使用所述重新旋转参考帧用于所述第二内容旋转帧的预测编码。

相关引用

本发明递交于2017年3月9日提交的，号码为62/469,041的美国临时申请案的优先权，其整体通过引用纳入其中。

技术领域

本发明涉及360°图像/视频内容处理，以及更具体地，涉及使用参考帧重新旋转(re-rotation)以及内容导向(content-oriented)旋转选择的一个或两者的视频处理装置以及相关的视频处理方法。

背景技术

具有多个头戴式显示器(head-mounted display，简称HMD)的虚拟现实(VR)与各种各样的应用相关联，其向用户显示宽视场内容(wide field of view content)的能力可以用于提供沉浸式的视觉体验(immersive visual experiences)。需要在所有方向上捕获真实世界环境以形成对应于观察球(sphere)的全景图像/视频内容。随着相机平台(camerarig)以及头戴式显示器的发展，由于展示如360°图像/视频内容所需要的高比特率，VR内容的递送可能很快成为瓶颈。当全景视频的分辨率是4K或者更高的时候，数据压缩/编码对比特率的减少是非常关键的。

通常，对应于观察球的全景视频被转换成一系列图像，每一图像由360°虚拟现实(360VR)投影格式所表示，并且然后将所生成图像序列编码进比特流用于传输。然而，由于所采用的360VR投影格式的运动对象拆分和/或拉伸，以360VR投影格式所表示的原始360°图像/视频内容可能具有不好的压缩效率。因此，需要一种创新设计，其能够实现以360VR投影格式所表示的360°图像/视频内容的压缩效率的提升。

发明内容

本发明的目标之一是为了提供一种使用参考帧重新旋转以及内容导向旋转选择中一个或两者的一种视频处理装置及相关的视频处理方法。

根据本发明的第一方面，公开了一种示例性视频处理方法。所述示例性视频处理方法包括：接收具有以360°虚拟现实(360VR)投影格式表示的第一360°内容的第一输入帧；将内容导向旋转应用于所述第一输入帧中的所述第一360°内容来生成第一内容旋转帧，所述第一内容旋转帧具有以所述360VR投影格式表示的第一旋转的360°内容；对所述第一内容旋转帧进行编码来生成比特流的第一部分，包括生成所述第一内容旋转帧的第一重构帧，并存储从所述第一重构帧推导的参考帧；接收具有以所述360VR投影格式表示的第二360°内容的第二输入帧；将第二内容导向旋转应用于所述第二输入帧的所述360°内容来生成第二内容旋转帧，所述第二内容旋转帧具有以所述360VR投影格式表示的第二旋转360°内容，其中所述第二内容导向旋转不同于所述第二内容导向旋转；根据所述第一内容导向旋转以及所述第二内容导向旋转配置内容重新旋转；将所述内容重新旋转应用于所述参考帧中的360°内容来生成重新旋转参考帧，所述重新旋转参考帧具有以所述360VR投影格式表示的重新旋转360°内容；以及由视频编码器对所述第二内容旋转帧进行编码来生成所述比特流的第二部分，使用所述重新旋转参考帧用于所述第二内容旋转帧的预测编码。