[发明专利]一种全局-局部自适应优化的全景光场拼接方法

说明书

本发明公开了一种全局‑局部自适应优化的全景光场拼接方法，包括：输入多个待拼接光场；提取、匹配和筛选待拼接光场的特征点，以计算得到所有待拼接光场的全局单应性变换矩阵；将多个待拼接光场分别进行4D网格化，根据所述全局单应性变换矩阵评价每个网格的全局配准精度，计算全局配准精度低于预设阈值的网格的局部单应性变换矩阵，并根据所述局部单应性变换矩阵评价对应的网格的局部配准精度；比较全局配准精度和局部配准精度，对于每个网格取精度最高的单应性变换矩阵，融合光场，得到拼接结果。本发明保证了光场整体和细节拼接结果均最为准确，从而实现精确的多光场全景拼接方法。

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种全局-局部自适应优化的全景光场拼接方法。

背景技术

光场相机主镜头和传感器之间的微透镜阵列可以有效捕捉光线信息，在一次拍摄中同时记录光线的方向和强度信息。因此，光场可以准确地再现场景中的立体视差、运动视差、反射、折射、重聚焦等效果，为用户提供极具真实感的沉浸式体验，给虚拟现实领域的研究提供极大助力。然而，受光场相机光学结构的限制，其视场角较小，为了从光场的巨大潜力中获益，必须扩展光场的视场角。全景光场拼接算法不依赖于特殊光学设计，也不需要复杂的采集方式，应用性较强。但是现有的全景光场拼接算法通常存在视差所带来的错位和重影问题，导致拼接结果不够准确。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种全局-局部自适应优化的全景光场拼接方法，保证了光场整体和细节拼接结果均最为准确，从而实现精确的多光场全景拼接方法。

为了达到上述目的，本发明采用以下技术方案：

本发明的一个实施例公开了一种全局-局部自适应优化的全景光场拼接方法，包括以下步骤：

S1：输入多个待拼接光场；

S2：提取、匹配和筛选待拼接光场的特征点，以计算得到所有待拼接光场的全局单应性变换矩阵；

S3：将多个待拼接光场分别进行4D网格化，根据所述全局单应性变换矩阵评价每个网格的全局配准精度，计算全局配准精度低于预设阈值的网格的局部单应性变换矩阵，并根据所述局部单应性变换矩阵评价对应的网格的局部配准精度；

S4：比较全局配准精度和局部配准精度，对于每个网格取精度最高的单应性变换矩阵，融合光场，得到拼接结果。

优选地，步骤S1具体还包括：解码和预处理多个待拼接光场以得到光场子孔径图像阵列：

SAI_i(u₀,v₀)＝{L_i(u,v,s,t)|u＝u₀,v＝v₀}

其中SAI_i(u₀,v₀)是光场在视角(u₀,v₀)处的子孔径图像，待拼接光场L_i(u,v,s,t)解码后得到光场子孔径图像阵列{SAI_i(u₀,v₀)|u₀∈[1,U],v₀∈[1,V]}，U、V是光场子孔径图像阵列的行数和列数，(u,v)为角度域坐标，(s,t)为空间域坐标。

优选地，步骤S1具体还包括：将多个待拼接光场投影至双球面坐标系，其中双平面坐标和双球面坐标之间的转换关系为：