[发明专利]视频处理方法及相关装置

说明书

一种视频处理方法，包括，接收对应于球体的全方位内容，根据至少所述全方位内容以及分段球体投影(SSP)格式生成基于投影的帧，以及由视频编码器对所述基于投影的帧进行编码来生成比特流的一部分。所述基于投影的帧具有由被封包于SSP布局中的第一圆形投影面、第二圆形投影面以及至少一个矩形投影面表示的360°内容。所述球体的北极区被映射到所述第一圆形投影面。所述球体的南极区被映射到所述第二圆形投影面。所述球体的所述南极区与所述北极区之间的至少一个非极区环形区段被映射到所述至少一个矩形投影面。

相关引用

本申请案主张于2017年3月22日提交的美国临时申请号62/474,704、于2017年6月9日提交的美国临时申请号62/517,217、以及于2017年7月10日提交的美国临时申请号62/530,367的优先权，且上述申请整体以引用方式并入本文中。

技术领域

本发明涉及处理全方位图像/视频内容。且更具体而言，本发明涉及用于生成以及编码具有以封包(packed)于分段球体投影(segment sphere projection，SSP)布局中的投影面表示的360度内容的基于投影帧的方法以及装置。

背景技术

使用头戴式显示(HMD)的虚拟现实(VR)有各种应用方式。其中，将广阔的视野内容呈现给使用者的能力可用于提供身临其境的视觉体验。若要取得对应到一个球体的全方位图像/视频内容，必须捕捉真实世界环境的所有图像/视频信息。随着相机及头戴式显示设备的进步，由于重现此种360度图像/视频内容需要高比特率(bitrate)，虚拟现实内容的传送可能即将成为技术发展的瓶颈。当全方位视频的分辨率大于或等于4K时，数据的编码及压缩对于降低比特率而言就显得极其重要。

一般而言，对应球体的全方位图像/视频内容会被转换为一系列的图像，而每一个图像皆为具有360度图像/视频内容的基于投影的帧(projection-based frame)，基于投影的帧由以360度虚拟现实(360VR)投影布局排列的一或多个投影面表示。而后，将这一系列的基于投影的帧编码至比特流(bitstream)以进行传输。

然而，所采用的360度虚拟现实投影布局可能会有不紧凑的情形、或者有许多由多个投影面的封包而造成图像内容的不连续边缘。将具有这种360虚拟现实投影布局的基于投影的帧进行编码可能会具有较差的编解码效率，及/或可能在压缩之后造成图像质量低落。

发明内容

本发明的目的之一是提供一种生成以及编码具有360度内容的基于投影的帧的方法以及装置，360°内容由封包于分段球体投影(SSP)布局中的多个投影面表示。此外，可以在球体的全方位图像/视频内容使用SSP格式投影前在球体上执行球体旋转，从而提高编解码效率。更进一步地，某些特征(如保护带(guard band)或填充(padding))可以由所提出的SSP布局采用，从容改善压缩后的图像质量。

根据本发明的第一方面，公开了一个示范性的视频处理方法。所述示范性视频处理方法包括：接收与球体相对应的全方位内容；至少根据所述全方位内容以及分段球体投影(SSP)格式生成基于投影的帧，并由视频编码器对所述基于投影的帧进行编码来生成比特流的一部分。基于投影的帧具有由封包于SSP布局的第一圆形投影面、第二圆形投影面以及至少一个矩形投影面所表示的360度内容。球体的北极区域被映射至第一圆形投影面，球体的南极区域被映射至第二圆形投影面，以及在球体的南极与北及区域之间的至少一个非极区环形区段被映射到至少一个矩形的投影面上。