[发明专利]具有用于发送基于立方体的投影采用的映射函数的语法元素的视频编码方法及相关的视频解码方法

说明书

一种视频编码方法，包括：对基于投影的帧进行编码以产生比特流的一部分，其中通过基于立方体的投影，球体的360度内容的至少一部分被映射到投影面，以及该基于投影的帧具有被打包在基于立方体的投影布局中的投影面；以及通过该比特流，发送至少一个语法元素，其中该至少一个语法元素与该基于立方体的投影采用的映射函数相关联以确定用于多个投影面中的每个投影面的样本位置。

相关引用

本发明的权利要求要求如下申请的优先权：在2019年7月2日递交的申请号为62/869,627，在2019年7月9日递交的申请号为62/871,840，在2019年9月20日递交的申请号为62/903,056。上述美国临时申请案，包括申请号为62/869,627，申请号为62/871,840和申请号为62/903,056的全部内容以引用方式并入本发明。

技术领域

本发明涉及视频编码和视频解码，尤其涉及具有语法元素的视频编码方法及相关的视频解码方法，该语法元素发送基于立方体的投影采用的映射函数。

背景技术

具有头戴式显示器(Head-mounted display,简称HMD)的虚拟现实(virtualreality,简称VR)与各种应用相关联。向用户显示宽视野内容的能力可被用于提供沉浸式视觉体验。真实世界环境必须在所有方向上捕获，从而产生对应于球体的全向视频。随着摄像机装备和HMD的进步，由于表示这种360度图像内容需要高比特率，VR内容的传送可能很快成为瓶颈。当全向视频的分辨率为4K或更高时，数据压缩/编码对于降低比特率至关重要。

通常，与球体相对应的全向视频被转换成具有由以360度虚拟现实(360-degreeVirtual Reality，简称360VR)投影布局排列的投影面表示的360度图像内容的帧，然后得到的帧被编码成比特流进行传输。假设常规立方体贴图投影(cubemap projection，简称CMP)被用于将球体上的360度内容投影到立方体的六个面上。由于常规CMP的固有特性，在投影面中心附近的采样速率远低于投影面边界。因此，需要一种修改后的立方体贴图投影设计，该设计可调整常规CMP的采样分布以实现更均匀的采样速率，并且可将与修改后的立方体贴图投影相关联的语法元素发送给视频解码器。

发明内容

所要求保护的发明的目的之一是提供一种具有语法元素的视频编码方法以及相关的视频解码方法，该语法元素发送基于立方体的投影采用的映射函数。

根据本发明的第一方面，一种示例性视频编码方法被公开。该示例性视频编码方法包括：对基于投影的帧进行编码以生成比特流的一部分，其中，通过基于立方体的投影，球体的360度内容的至少一部分被映射到多个投影面，并且基于投影的帧具有被打包在基于立方体的投影布局中的多个投影面；通过比特流，发送至少一个语法元素，其中所述至少一个语法元素与基于立方体的投影采用的映射函数相关联，以确定用于多个投影面中的每个投影面的样本位置。

根据本发明的第二方面，一种示例性视频解码方法被公开。该示例性视频解码方法包括：解码比特流的一部分以生成解码帧，其中，解码帧是基于投影的帧，其具有被打包在基于立方体的投影布局中的多个投影面，并且通过基于立方体的投影，球体360度内容的至少一部分被映射到多个投影面；从所述比特流中解析至少一个语法元素，其中所述至少一个语法元素与基于立方体的投影采用的映射函数相关联，以确定用于多个投影面中的每个投影面的样本位置。

在阅读了在各个附图和附图中示出的优选实施例的以下详细描述之后，本发明的该些和其他目的无疑对于本领域的普通技术人员将变得显而易见。

附图说明

图1是根据本发明实施例的360度虚拟现实(360VR)系统。

图2示出根据本发明实施例的基于立方体的投影。

图3示出根据本发明实施例的3D空间中的立方体的正方形投影面和2D平面上的正方形投影面之间的映射。

具体实施方式