[发明专利]一种用于球面与平面间映射的方法和装置

说明书

本发明涉及视频编码技术领域，提供了一种用于球面与平面间映射的方法和装置。对应于各变换条形区域存储有相应的变换条形区域的边界参数，所述方法还包括：以所述变换条形区域中拆分出的多个直角三角形作为球面上三角纹理图形获取相应像素数组的源；根据变换条形区域的边界参数，逐一的将各变换条形区域上的像素点按照三角纹理图形为处理单位转换为构成球面视频帧的纹素。本发明考虑了精简化的变换处理，对于解码后重新生成球面视频帧可能带来的问题，避免了因为映射过程中采集到无效数据区域，造成因为数据丢失引发的球面上的出现黑边的问题。

【技术领域】

本发明涉及视频编码技术领域，特别是涉及一种用于球面与平面间映射的方法和装置。

【背景技术】

在360度全景视频应用(比如沉浸式VR)中，拍摄者会利用多个摄像头将水平360度、上下180度的所有角度拍摄出来，然后利用视频合成装置将视频合成为一个全景视频，即一个球面视频。

但球面视频数据不容易表达、存储和压缩。目前在视频压缩领域中，各种存在的压缩标准如H.264、H.265等都是针对平面矩形区域进行压缩。为了利用既存的视频压缩标准来压缩和传输视频数据，目前通常的做法是把球面视频投影到一个平面上。

目前，在市面上常用的方法有圆柱投影、圆锥投影等。其中最常用的投影方法为Equirectangular，是将每条经线展开成一条直线段，并沿赤道线绕一圈形成一个圆柱体，然后展开为一个矩形。这个方法被广泛地应用于VR全景视频编码过程中，其优点是矩形有利于用既有的视频压缩标准来进行压缩。但这种方法投射至平面后，平面矩形的面积被扩大了π/2倍，这样会导致要保持相同的压缩质量，需要有相应的码率提升来保证，消耗了更多的存储和网络传输带宽。

Equirectangular方法实现过程中具体的是，建立一个球体模型，球体模式建立方式为，设置将球面认为设南北极，并按纬度分成N分，经度分成M份，设球心的位置为原点O(0,0,0)，球的半径为r，计算出球面上的纬度和经度交叉点的位置，如图1所示，ψ＝π/2-i*π/N(0<＝i<＝N),θ＝j*2π/M(0<＝j<＝M)。球面的位置为顶点，使用连接三角形方式连接顶点，建立3D的球体模型。如图2所示，使用计算机显示球体，是使用近似的方法模拟球体，球面上的点是离散的，每个点在球面上，相邻的点之间构成线，线构成了面。所以球面是使用很小的3角形来近似表示。如果球面上的点越多就越接近球。所述Equirectangular的处理结果与现有的技术中Direct3D和OpenGL的API之间兼容性较高，且技术较为成熟，然而，现有的Equirectangular算法带来的计算冗余度较高，造成API处理效率的降低。

另外还有一个较为常见的cubic投射法，是将球面投射到球的内嵌正方体的六个面上，这样投射出的平面面积比球面小，但其缺点是由于球面上的单位面积投射到平面上的面积，因位置而不同——特别是正方体边沿——造成缩放较为明显，这样会导致原始图像信息损失和最终显示失真。

另外，现已公开的专利文件中，申请号CN201610246821.2，发明名称为一种360度全景视频的平面投射方法及编码方法，同样公开了一种映射思路：将球面上的每一条纬线投射在平面上形成相应的直线，然后在平面上以赤道线的中点为原点建立直角坐标系，使每条纬线的长度与投射在平面上的相应直线的长度相等，使任一条纬线与赤道线在球面上的纵向弧线距离等于相应直线在所述直角坐标系中的Y轴值。然而，现实环境中摄像头将水平360度、上下180度的所有角度拍摄出来加工成全景视频，通常都不是标准的球面数据，更多时候是先转成平面视屏数据以满足各种视频传输编码，然后由平面视频数据转换为全景视频使用。因此，申请号CN201610246821.2所提出的技术方案是一种偏理想化的处理方法，实际情况下除非是采用特制的球体采集摄像头一次性采集生成该方案中所描述的球体像素集，但是，从目前的技术实现来说并没有相应功能的摄像头，而都是采用多摄像头完成球面视频数据采集的。所以申请号CN201610246821.2缺乏实际可操作性和实用性。