[发明专利]一种编解码方法及装置

说明书

本发明公开一种编解码方法及装置，该方法及装置对360度虚拟现实图像序列进行编解码。根据一个方法，接收与所述360度虚拟图像序列中的当前图像相关的输入数据，也接收与所述当前图像相关的目标参考图像。然后，通过延伸来自于与所述目标参考图像相关的一个或者多个边界的多个球面相邻像素的多个像素，生成替代参考图像。提供包含所述替代参考图像的参考图像列表对所述当前图像进行编码或者解码。本发明在将运动估计应用到已投影的2D平面时，提高参考数据的可用性，进而改善与已投影的2D平面相关的编解码性能。

交叉引用

本申请主张在2016年10月17日提出申请的美国临时专利申请第62/408,870号的优先权。该美国临时专利申请以引用方式整体并入本文中。

技术领域

本发明涉及视频编解码。具体而言，本发明涉及用于3D视频的视频压缩的生成和管理参考图像的技术。

背景技术

360度视频，也称为沉浸式视频，是一种新兴技术，其可以提供“身临其境的感觉”。通过用覆盖全景的环绕式场景来环绕用户，以实现沉浸式感觉，特别是360度的视野。通过立体渲染进一步改善“身临其境的感觉”。因此，全景视频广泛应用于虚拟现实(VirtualReality，VR)应用中。但是，3D视频需要非常大的带宽来进行传输，以及很多存储空间来进行存储。因此，通常以压缩格式来传输并存储3D视频。下面将介绍与视频压缩以及3D格式相关的各种技术。

HEVC标准中的运动补偿

高效视频编码(High Efficiency Video Coding，HEVC)标准，是高级视频编码(Advanced Video Coding，AVC)标准的继任，于2013年1月完成。自此之后，不断有在HEVC基础上的新的视频编码技术的发展。下一代视频编码技术目标在于提供有效解决方案，以用于以各种格式压缩视频内容，例如YUV444、RGB444、YUV422和YUV420。这些方案特别用于高分辨率视频，例如，超高清(ultra-high definition，UHD)或者8K TV。

现今通常使用摄像机运动来捕获视频内容，例如，平移、变焦和倾斜。另外，并不是视频内的所有运动物体符合平移运动假设(translational motion assumption)。据观察，通过有效利用合适的运动模型有时可以提高编码效率，例如，用于压缩某些视频内容的仿射运动补偿(affine motion compensation)。

在HEVC中，帧间运动补偿可以以两种不同的方式来进行使用：显性式发信或者隐性式发信。在显性式发信中，通过使用预测编码方法来发信给块(例如预测单元(prediction unit))的运动矢量(motion vector，MV)。可以从当前块的空间或者时间相邻块中推导出运动矢量预测子。在预测之后，对运动矢量差(motion vector difference，MVD)进行编码并传输。该模式也称为高级运动矢量预测(advanced motion vectorprediction，AMVP)模式。在隐性式发信中，从预测子集(predictor set)中选择一个预测子作为当前块(例如，预测单元)的运动矢量。换言之，在隐性式发信中，无需传输MVD或者MV。该模式也称为合并模式(Merge mode)。合并模式中的预测子集的形式也称为合并候选列表构造(Merge candidate list construction)。称为合并索引(Merge index)的索引被发信，以表示用于表示该当前块的MV的所选择的预测子。

通过所提供的一些之前已解码的参考图像，使用当前图像与这些来自于参考图像的图像之间的关系及其运动场，用于预测当前图像内的样本的预测信号可以用运动补偿的插值生成。