[发明专利]一种全景图像处理方法及装置

说明书

本发明公开了一种全景图像处理方法及装置。从码流中提取格式信息，根据格式信息使用特殊的映射关系将解码的全景图像中的位置映射到球面上的位置，解码的全景图像中至少包括一个区域满足所述的特殊映射关系。本发明可以使解码的全景图像中的区域相对于球面分布更均匀，提高了表达效率，降低了转换失真。本发明在设计全景图像处理方法的同时，还设计了相应的装置。

技术领域

本发明涉及全景图像处理领域，特别涉及全景图像处理方法及装置。

背景技术

360°全景图像指空间中一个观察点四周所有的场景，由这个观察点所能接收到的所有光线构成，球面可以描述观察点四周的所有场景。。由于球面图像难以存储以及目前的图像编解码器是针对普通的非全景图像设计的，对于球面图像的编码效果不够理想，所以需要将球面图像通过投影转换为全景图像格式，常见的投影格式有经纬图、六面体等。对于不同格式的全景图像可以采用现有的普通非全景图像的编码方式进行编码，例如HEVC、AVS2、AV1等，也可以针对不同的格式使用局部调整后的编码方法。

经纬图采样如图1所示，球面上的点可以用其所在的经度和纬度θ表示。将球面映射到坐标系下一个宽高比为2:1的矩形，然后对这个矩形进行均匀采样。经纬图格式在高纬度区域存在过采样和图像纹理拉伸过度问题。

如图2所示，六面体利用中心投影将球面投影到立方体的六个面上，然后在六面体上均匀采样。相对于经纬图六面体在球面上的采样更加均匀，编码效率更高，但由于中心投影的特性，立方体每个面的角落会比中心区域的采样密度更高，对应到球面来看，球面的采样均匀性不够。

确定球面和全景图像中的位置映射关系之后，可以对全景图像中进行采样，生成每个像素点位置的像素值，再对全景图像进行编解码；也可以利用球面和全景图像中的位置映射关系，进行全景图像的格式转换，可以将经纬图格式转换为六面体或者其他格式。

发明内容

本发明针对现有技术的不足，提出了一种新的全景图像处理方法及装置。

对于相同的面积，六面体格式下每个面的中心区域比边角区域对应到球面上的区域范围大，这导致了在球面的采样不均匀，六面体边角区域有冗余信息，降低了表达效率。

本发明的主要思想是通过调整全景图像和球面在不同位置的伸缩关系，使得全景图像中的每一纬度上的单位间隔在球面上尽可能的等弧长，从而减少六面体投影下边角区域的信息冗余，提高表达效率。

为此，本发明采用如下技术方案：

本发明第一目的是提供一种全景图像处理方法，包括：

从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置的映射关系，所述映射关系为：

x和成线性关系，y和成线性关系，

其中，x表示所述的解码全景图像中所述区域的第一维坐标位置，y表示所述解码全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线。

作为优选，所述全景图像格式信息为以下情况之一：

1)所述格式信息为格式编号，且该格式编号默认地指定了解码的全景图像中所述区域的第一维坐标的方向；

2)所述格式信息包含格式编号以及解码的全景图像中所述区域的第一维坐标的方向信息。

本发明第二个目的是提供一种全景图像处理方法，包括如下步骤：

全景图像中至少存在一个图像区域采用以下映射关系进行表达，所述图像区域的位置(x,y)和球面上的位置的映射关系为：

x和成线性关系，y和成线性关系，