[发明专利]自适应扰动立方体的地图投影

说明书

本发明提供用于处理视频数据的方法及系统。在一个实例中，可获得第一视频位流，其可包含360度视频数据的球面表示的视频帧。可确定几何形状的平面表面的像素位置的二维像素坐标。所述平面表面可为所述几何形状的多个平面表面的部分。可基于适应参数及所述二维像素坐标来确定所述像素位置的二维正规化坐标。可基于所述二维正规化坐标来确定所述360度视频数据的所述球面表示的样本点的三维坐标。可基于所述样本点来确定所述几何形状的所述平面表面的所述像素位置的像素值，且可产生第二视频位流，其包含针对所述几何形状的所述多个平面表面的像素位置确定的像素值。

技术领域

本申请案涉及360度视频内容。举例来说，系统与方法经描述用于提供用于表示360度视频内容的自适应扰动球形立方体图投影方案。

背景技术

虚拟实境(VR)描述可在看起来真实或实体方式内交互的三维的计算机产生的环境。大体来说，经历虚拟实境环境的用户可左右转、上下看及/或前后移动，因此改变其对虚拟环境的视角。呈现到所述用户的360度视频可因此改变，从而使得用户的体验如在真实世界中同样无缝。虚拟实境视频可以极高质量被检索且显现，从而潜在地提供真实沉浸式虚拟实境体验。

为提供无缝360度视图，通过360度视频检索系统检索的视频通常进行图像缝合。在360度视频产生的状况下的图像缝合涉及组合或合并视频帧重叠或将以其它方式连接所在的区域中的邻近摄影机的视频帧。结果将为大体球形帧。然而，类似于麦卡托(Mercator)投影，经合并数据通常以平面样式表示。举例来说，经合并视频帧中的像素可经映射到立方体形状或某其它三维平面形状(例如，角锥形、八面体、十面体等)的平面上。视频检索及视频显示装置通常按光栅原理操作-从而意谓视频帧作为像素栅格处置-因此，正方形或矩形平面通常用以表示球形环境。

360度视频可经编码用于存储及/或发射。视频译码标准包含国际电信联盟(ITU)ITU-T H.261、国际标准组织/国际电子装置委员会(ISO/IEC)动画群组(MPEG)MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、ITU-T H.264(也称为ISO/IEC MPEG-4AVC)、包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展及ITU-T H.265(也称为ISO/IEC MPEG-4HEVC)及其扩展。

发明内容

360度视频数据在本质上为球形，且可重新映射到其它几何形状或格式。此些其它几何形状可表示为二维，且可用以存储、编码、发射、解码、显现及/或观看所述360度视频。待用于360度视频数据的映射的一个实例几何形状可为使用等矩形投影(ERP)的等矩形几何形状。另一实例几何形状可为使用立方体图投影的立方体。其它几何形状包含圆柱形几何形状、截短正方棱锥几何形状，以及其它者。

360度视频数据到二维几何形状的此投影可能导致所述球面表示的不均匀采样。举例来说，作为投影的部分，所述球面表示上的样本点可映射到所述几何形状的二维平面上的等间隔的点。样本点之间的间隔可相对于所述球面表示上的所述样本点的所述位置而变化，其导致不均匀采样。所述不均匀采样分布可导致经投影360度视频数据的效率低下的编码。举例来说，所述不均匀采样分布可导致(所述经投影视频帧的)大量数据位用以表示所述球面的小区域(归因于那些小区域内的较大数目个样本点)，且相对较小数目个数据位用以表示所述球面的大区域(归因于那些大区域内的较小数目个样本点)。所述经投影360度视频数据中的所述球面的不同区域的不等表示可降级编码的效率，从而过多数据位用以表示所述球面的某些区域，而一些区域用不足数目个数据位表示。