[发明专利]一种基于球面对齐估计的全景图像拼接方法及存储设备

说明书

本发明涉及图像处理技术领域，特别涉及一种基于球面对齐估计的全景图像拼接方法及存储设备。所述一种基于球面对齐估计的全景图像拼接方法，包括步骤：获取输入图像，并将所述输入图像映射至统一的立方体网格展开图像面上；通过局部加权，计算每一个球面网格顶点的局部旋转矩阵，根据所述局部旋转矩阵得到局部对齐后的球面网格位置；对局部对齐后的球面网格位置通过纹理映射得到局部对齐后的映射图像。该拼接方法，可以在保证全景图像球面一致性的前提下，即使相机之间存在一定的视差，亦可极大程度的减少全景图像拼接中的拼接错位问题。

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于球面对齐估计的全景图像拼接方法及存储设备。

背景技术

随着近年来VR技术的兴起，类似全景看房、VR购物和VR点餐的应用开始大量出现。而为了获得VR设备需要的全景图像，最为核心的技术就是全景图像拼接。对于以展示真实场景为目的的VR应用，并不能像展示虚拟场景那样，直接对虚拟场景进行实时的渲染，而是需要首先使用多个相机得到场景的不同角度图像，再通过全景图像拼接技术得到覆盖360°×180°视角范围的全视角图像，最终在VR头盔中以场景包围盒的形式进行渲染。为了达到最好的视觉沉浸式效果，我们希望得到的全景图像是无缝拼接的，因为即使很小的拼接错位问题，都会在最终的沉浸式VR头盔中被放大显示，进而影响用户体验。

而现有的全景图像拼接要求严格的相机中心约束，如果相机之间存在视差的话，可能会导致拼接错位的问题。现有解决这一问题的方法主要是在全景球面的图像展开平面进行局部对齐调整，但是仅仅是在平面进行局部对齐调整无法自然的保证全景球面的封闭性，而加入封闭性约束又无法保证很好的局部对齐效果。

发明内容

为此，需要提供一种基于球面对齐估计的全景图像拼接方法，用以解决全景图像拼接中由视差导致的拼接错位问题，具体技术方案如下：

一种基于球面对齐估计的全景图像拼接方法，包括步骤：获取输入图像，并将所述输入图像映射至统一的立方体网格展开图像面上；通过局部加权，计算每一个球面网格顶点的局部旋转矩阵，根据所述局部旋转矩阵得到局部对齐后的球面网格位置；对局部对齐后的球面网格位置通过纹理映射得到局部对齐后的映射图像。

进一步的，所述“获取输入图像，并将所述输入图像映射至统一的立方体网格展开图像面上”，还包括步骤：通过相机逆成像函数与相机间的相对旋转矩阵，将输入图像映射到统一的立方体网格展开图像面上。

进一步的，所述“通过局部加权，计算每一个球面网格顶点的局部旋转矩阵，根据所述局部旋转矩阵得到局部对齐后的球面网格位置”，还包括步骤：提取立方体网格展开图像面上的视觉特征，并进行特征匹配；通过查找立方体网格展开图像面对应方向向量表，得到匹配的方向向量对；对立方体网格进行归一化生成球面网格，并计算每一组匹配方向向量对应每一个网格的权值；计算每一个网格的加权旋转矩阵，得到局部加权的旋转矩阵，基于所述局部加权的旋转矩阵计算得到局部对齐估计后的网格，进而得到局部对齐的全景球面。

进一步的，所述“对局部对齐后的球面网格位置通过纹理映射得到局部对齐后的映射图像”，还包括步骤：使用原有的立方体网格展开图像面纹理坐标，对新生成的局部对齐的全景球面进行重新渲染，得到重新渲染的全景球面对应的立方展开图像；在统一的立方展开图像平面内进行图像融合，得到局部对齐后的全景拼接图像。

为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：

一种存储设备，其中存储有指令集，所述指令集用于执行：上述任意步骤。