[发明专利]一种全景视频数据处理方法、装置及系统

说明书

本申请提供一种全景视频数据处理方法、装置及系统。所述方法包括：确定目标视频像素在原全景视频帧上的映射像素；在所述原全景视频帧上，获取预设规则窗口中预定形状和数量的像素，所述预设规则窗口与所述映射像素相关联；计算所述映射像素以及所述预定形状和数量的像素所对应的权重值，生成窗口权重表；将所述映射像素和预定形状和数量的像素、以及所述窗口权重表载入图像处理器。利用本申请各个实施例，可以利用GPU来加速GPU处理独特设计的映射算法，而且可以不占用后面视频编码的CPU资源，从而同时达到了两方面的速度提升，大大提高全景视频数据的转码处理效率，实现整个系统的数据处理加速。

技术领域

本申请属于视频数据处理技术领域，尤其涉及一种全景视频数据处理方法、装置及系统。

背景技术

随着信息技术的迅速发展，VR(VirtualReality，虚拟现实)已成为目前讨论的热点话题。而VR全景视频的数据处理技术目前已经成为了研究的重点。

一般的，全景视频处理过程中，常常需要将全景视频转码为其他视频数据格式。视频转码的过程通常可以包括：

A、将全景视频采集设备拍摄得到的不同场景角度的视频进行拼接，组合成完整的全景视频；

B、将这个完整的全景视频中的全景图像进行重新映射，以得到更小面积的平面2D视频图像；

C、对所述平面2D视频图像再进行视频编码，得到转码后的2D视频。

在上述步骤B中，对全景图像进行重新投影的处理过程中，本领域技术人员可以了解到存在多种全景图像的投影实现方式，例如，Equirectangular投影模型、圆柱投影模型、直线投影模型、墨卡托投影，但由于这些全景图像投影展开面积较大，转码时需要处理的数据量大，所以一些公司业内提出了多种新的方案来减少全景图像投影的数据量。例如，一种方式是将全景图像投影模型进行重新映射为不同的平面2D视频图像格式，以得到更小面积的平面2D视频图像，比如将Equirectangular投影模型格式的全景图像重新映射为Cubemap模型或者Pyramid模型的2D视频图像格式。

但是，本方案注意到，目前的业内常用的是将全景图像投影模型进行重新映射为不同的平面2D视频图像格式的方法中数据处理一般都是通过CPU(Central ProcessingUnit，中央处理器)来计算实现的，如通过CPU来计算像素点映射和插值法。但，由于全景视频的清晰度和分辨率越来越高，尤其是对于4K视频甚至以后更高的这类高分辨率视频，像素点过多，现有的这种投影方式处理的数据量非常大。这样的CPU计算极大了耗费了计算资源，且效率不高。

例如，在此以Cubemap模型映射为例展开解释该问题。从Equirectangular模型的展开变换到Cubemap模型的展开，需要对每个像素点进行映射操作，这种映射操作是通过找到Cubemap模型上每个点对应的Equirectangular模型上相应的点来实现的。由于考虑为了输出比较平滑(较少锯齿和毛刺)的Cubemap映射图像，做一对一像素点的Cubemap到Equirectangular模型的映射是不够的，通常还需要对Cubemap输出像素点位置周围的一些分像素位置进行映射，并且最终将所得到的所有的映射位置加权平均来求得Cubemap上一个比较平滑的输出像素。例如为了得到在Cubemap上的一个像素点A，需要将这个像素映射到Equirectangular上面的某一个像素上，我们假设这个像素位置是B0(x1,y1)，然后为了Cubemap上的这个像素点更加平滑，需要将这个像素点A附近的若干个分像素通过同样的映射方式找到Equirectangular全景视频上的一对一的映射点。例如选择了N个分像素，会在Equirectangular全景视频上得到N个映射的点，B1，B2，......BN，每个映射的点对应一个权重weight，这里权重指的是Equirectangular上的每一个位置被映射到的次数。一个Cubemap上的点A，通过以上操作，就会得到若干映射的位置和各相应的权重值，这些信息可以存储于Cubemap点A的链表中，示例如下：