[发明专利]用于360度视频的有效压缩的球体赤道投影

说明书

本发明提供用于处理360度视频数据的系统及方法。在各种实施方案中，360度视频帧的球面表示可分割成顶部区、底部区及中间区。使用圆柱等面积投影，诸如兰伯特圆柱等面积投影，可将所述中间区映射至输出视频帧的一或多个矩形区域中。

背景技术

虚拟实境(VR)描述可在看起来真实或物理方式内交互的三维的计算机产生的环境。一般来说，经历虚拟实境环境的用户可左右转、上下看及/或前后移动，因此改变其对虚拟环境的视角。呈现给所述用户的360度视频可因此改变，从而使得用户的体验如在真实世界中同样顺畅。虚拟实境视频可以极高质量被捕捉且显现，从而潜在地提供真实沉浸式虚拟实境体验。

为提供顺畅360度视图，通过360度视频捕捉系统捕捉的视频通常进行图像缝合。在360度视频产生的情况下的图像缝合涉及组合或合并视频帧重叠或将以其它方式连接所在的区域中的邻近相机的视频帧。结果将为大致球形帧。然而，类似于麦卡托(Mercator)投影，经合并的数据通常以平面样式表示。举例来说，经合并视频帧中的像素可经映射至立方体形状或某种其它三维平面形状(例如，角锥形、八面体、十面体等)的平面上。视频捕捉及视频显示大体上通常按光栅原理操作--意味着视频帧作为像素栅格处置--因此，正方形或矩形平面通常用以表示球面环境。

360度视频可经编码用于存储及/或发射。视频译码标准包含国际电信联盟(ITU)ITU-T H.261、国际标准组织/国际电子装置委员会(ISO/IEC)动画群组(MPEG)MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、ITU-T H.264(也称为ISO/IEC MPEG-4AVC)、包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展及ITU-T H.265(也称为ISO/IEC MPEG-4HEVC)及其扩展。

发明内容

在各种实施方案中，描述用于处理360度视频数据以获得更好译码效率的技术及系统。这些技术及系统可包含使用分割球体投影将360度视频帧的球面表示分成北极或顶部区、南极或底部区，及赤道或中间区。所述区可接着映射成可使译码装置更容易进行操控的二维矩形格式。在产生此映射时，可使用圆柱等面积投影将赤道区映射成二维格式。圆柱等面积格式修改赤道区的高宽比以保持所述区域。保持所述区域可导致较少失真，其对于达成更好译码效率将为不利的。

根据至少一个实例，提供一种用于编码视频数据的方法。在各种实施方案中，所述方法包含获得包含多个视频帧的360度视频数据，所述多个视频帧中的每一视频帧包含用于视频帧的视频数据的球面表示。所述方法进一步包含将来自所述多个视频帧中的视频帧分割成顶部区、中间区及底部区，所述顶部区包含球面表示的第一圆形区域，所述底部区包含球面表示的第二圆形区域，其在球面表示上与第一圆形区域相对，其中所述中间区包含球面表示中不包含于顶部区或底部区中的区域。所述方法进一步包含使用圆柱等面积投影将中间区映射至输出视频帧的一或多个矩形区域。

在另一实例中，提供一种设备，其包含经配置以存储360度视频数据的存储器及处理器。所述360度视频数据可包含多个视频帧，所述多个视频帧中的每一视频帧包含用于视频帧的视频数据的球面表示。处理器经配置以且可将来自所述多个视频帧中的视频帧分割成顶部区、中间区及底部区，所述顶部区包含球面表示的第一圆形区域，所述底部区包含球面表示的第二圆形区域，其在球面表示上与所述第一圆形区域相对，其中所述中间区包含球面表示中不包含于顶部区或底部区中的区域。处理器经配置以且可使用圆柱等面积投影将中间区映射至输出视频帧的一或多个矩形区域。