[发明专利]鱼眼镜头全景图像拼接方法

说明书

技术领域

本发明涉及图像拼接技术领域，特别是一种鱼眼镜头全景图像拼接方法。

背景技术

目前的鱼眼图像的实时拼接技术非常少且单一，一般鱼眼图像的全景图像的实时拼接分两步，首先求出全景图像与各镜头单元图像的参数映射表，然后在线的调用参数映射表对镜头单元图像实时一帧一帧的进行全景图像拼接。最关键的就是第一步，目前解决方案主要有两种：

第一种是把鱼眼图像的径向畸变校正参数和图像元(即单元镜头)的位姿参数作为一体，整体用最优化技术进行参数估计。镜头畸变参数校正最常用的技术是多项式拟合，单元镜头的位姿估计参数是3x3维矩阵，9个参数,这两部分的参数的关系是复合函数，通常用RANSAC或遗传算法、免疫算法、蚁群算法等迭代优化技术求解，这种复合最优化技术对参数的初始值依赖性很强，而且彼此的干扰性也很强，很难达到全局最优，甚至局部最优也无法找到，即使找到的局部最优解，这种比较差的局部最优解也使图像拼接误差增大，因此全景图像重叠区域中的重影、错位问题，边缘区域变形严重、模糊及图像区域空白等问题都比较严重。

第二种是用一个常规镜头的投影变换和多项式畸变校正技术用校正模板图像对镜头畸变参数进行畸变校正，生成一组中间校正后的2D图像，然后用2D图像配准技术对校正后的图像元进行2D配准。该方案在最后的一个拼接重叠区域会把误差放大，导致全景球面图像和等柱面全景图像中会有一个拼接误差严重的区域，在该区域重影、错位问题，边缘区域变形严重、模糊及图像区域空白等问题比较严重。

综上，现有技术鱼眼镜头图像拼接技术拼接出来的全景图像拼接误差比较大，如在拼接重叠区域中重影、错位严重，在图像的边缘区域变形严重，甚至在全景等柱面展开图的上下边缘中存在一定面积的空白区域。

发明内容

本发明的目的是提供一种鱼眼镜头全景图像拼接方法，以改进提高鱼眼全景图像拼接重叠区域中的拼接误差，进而解决全景拼接图像重叠区域中的重影错位问题，边缘区域变形严重、模糊及图像区域空白等问题。

为了解决上述技术问题，本发明提供一种鱼眼镜头全景图像拼接方法，包括：

步骤一、通过多项式拟合模型将多个鱼眼镜头拍摄的单元图像分别映射到三维球面上，并计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型；

步骤二、将待配准的多个所述单元图像中的每幅图像重叠区域中的匹配特征点通过确定后的所述多项式拟合模型分别映射到三维单位球面上，在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像；

步骤三、把所述球面全景图像按等柱面方式展开成柱面全景图像，对所述柱面全景图像进行处理，建立所述柱面全景图像中每个像素点与多个鱼眼镜头拍摄的单元图像中的每个像素点的对应位置关系的参数映射表；

步骤四、读取多个鱼眼镜头拍摄的鱼眼图像，调用所述参数映射表将多个鱼眼镜头拍摄的鱼眼图像融合成全景图像。

步骤一中计算求解出所述多项式拟合模型的系数参数进而确定所述多项式拟合模型，具体为：

取空间同一条直线映射到鱼眼镜头的元图像上的直线上的至少三个点，然后用所述多项式拟合模型求出所述至少三个点到三维单位球面上的映射点，再把所有映射点在三维单位球面拟合成一个大圆，求出各个映射点到拟合的大圆的球面距离，求出他们的平方和；用同种方法取空间中多条直线计算，所取的多条直线在鱼眼图像中分布均匀，如果分布不均可以多拍几张弥补。建立以下函数：Dist＝S1+...+SN；其中S1＝d11^2+...+d1n1^2，...，SN＝dN1^2+...+dNnN^2；以函数Dist最小值为目标，求出所述多项式拟合模型的系数参数。

在三维单位球面上对多个所述单元图像进行计算求出对应镜头成像的配准模型，根据所述配准模型在三维球面上将多个所述单元图像配准形成球面全景图像，具体为：

设多个鱼眼镜头的单元图像重叠区域中匹配的特征点为(x,y)，则通过确定后的所述多项式拟合模型映射到三维单位球面上的点的四元坐标为[x,y,z,1]；以多个鱼眼镜头中的一个鱼眼镜头为参考镜头，用特征点对求解另外的鱼眼镜头相对于参考镜头的配准模型：

[X,Y,Z,H]’＝Modle*[x,y,z,1]’，其中，Modle是16个自由度的矩阵。该配准模型演化出以下三个方程：