[发明专利]编码全局旋转运动补偿图像的方法，设备和流

说明书

本公开涉及用于通过对输入图像应用全局旋转运动补偿来对图像序列进行编码和解码的方法、装置或系统。根据不同的实施例，输入图像是压缩回路中的参考图像或要编码的图像。要编码的图像是全向图像。结果，对它们应用全局旋转运动补偿对应于生成新图像，就好像它们是根据不同的正面方向捕获的。当该新的正面方向是参考图像的正面方向时，可以促进视运动的补偿。

1.技术领域

本公开涉及在沉浸式视频中编码运动补偿的领域，例如当在用于虚拟现实、增强现实或增强虚拟的系统中处理这样的沉浸式视频时，并且例如当在头戴式显示设备中显示这样的沉浸式视频时。

2.背景技术

最近，可用的大视场内容(高达360°)出现了增长。在诸如头戴式显示器、智能眼镜、PC屏幕、平板电脑、智能手机等沉浸式显示设备上观看内容的用户可能无法完全看到这样的内容。这意味着在给定时刻，用户可能只查看内容的一部分。然而，典型地，用户可以通过诸如头部移动、鼠标移动、触摸屏、语音等各种方式在内容内导航。典型地，希望对该内容进行编码和解码。

3.发明内容

根据本原理的一方面，本公开涉及对流中的图像序列的第一图像进行编码的方法。该方法包括：

-通过根据旋转参数对第三图像应用全局旋转运动补偿来获得第二图像。第三图像是通过在压缩过程的步骤处理第一图像获得的；和

-通过使用第二图像作为运动补偿模块的输入图像来编码流中的相关联的旋转参数和第一图像。

根据特定特征，第三图像是第一图像，因此，将全局旋转运动补偿在压缩回路的输入处直接应用于第一图像。

根据具体实施例，在压缩过程期间，通过获得响应于所输入的第一图像的残差图像、获得响应于第一图像的运动预测图像来从所述第一图像获得第三图像；并且其中第三图像是通过将残差图像与运动预测图像相加获得的重建的图像。

本公开还涉及对来自流的图像序列的第一图像进行解码的方法。该方法包括：

-从流中获得第二图像和相关联的旋转参数；和

-通过根据所述旋转参数对第三图像应用全局旋转运动补偿来解码第一图像。第三图像是在解压缩过程期间从第二图像获得的运动补偿模块的输出图像。

根据特定特征，第三图像是解码的第一图像，因此将全局运动旋转在解压缩回路的输出处应用于解码的图像。

根据具体实施例，通过获得响应于第二图像的残差图像、获得响应于第二图像的运动预测图像来获得第三图像；并且其中第三图像是通过在解压缩过程期间将残差图像与运动预测图像相加获得的重建的图像。

本公开还涉及携带表示图像序列的数据的比特流。该数据包括：

●表示图像序列的第一语法元素；以及

●表示与图像序列的至少一个图像的标识符相关联的参数化全局旋转运动的参数的第二语法元素。

本公开还涉及用于对流中的图像序列的第一图像进行编码的设备。该设备包括至少与处理器相关联的存储器，该处理器被配置为：

-通过根据旋转参数对第三图像应用全局旋转运动补偿来获得第二图像。第三图像是通过在压缩过程的步骤处理第一图像获得的；和

-通过使用第二图像作为运动补偿模块的输入图像来编码流中的第一图像和相关联的旋转参数。

根据具体实施例，第三图像是所述第一图像，因此，将全局旋转运动补偿在压缩回路的输入处直接应用于第一图像。

根据具体实施例，在解压缩过程期间，通过获得响应于第一图像的残差图像、获得响应于第一图像的运动预测图像来从第一图像获得第三图像；并且其中第三图像是通过将残差图像与运动预测图像相加获得的重建的图像。