[发明专利]一种全自动的快速柱面全景图像拼接方法

摘要

本发明公开一种全自动的快速柱面全景图像拼接方法。针对现有的算法中无法自动完成焦距估计的问题，本发明首先使用Harris特征点检测算法和HOG描述子得到平面图像的特征点，并使用一种基于预测的快速特征点匹配算法高效的计算出匹配特征点，使用RANSAC算法提纯匹配特征点，然后使用一种基于纯旋转运动的快速焦距估计算法估计出焦距，把平面图像投影至圆柱平面，并进行图像拼接，合成全景图像。该方法能够快速的合成高质量的全景图像，具有较高的实用价值。

主权项

1.一种全自动的快速柱面全景图像拼接方法，其特征在于该方法包括以下步骤：步骤(1)、使用Harris算法检测两帧待拼接图像的特征点，并使用方向梯度直方图建立特征点的HOG描述符；步骤(2)、使用一种基于预测的快速特征点匹配算法快速完成特征点粗匹配，然后使用随机采样一致算法对上述粗匹配特征点进行提纯；步骤(3)、判断图像焦距是否已知，若焦距未知，则使用提纯后的匹配特征点利用基于纯旋转运动的自动焦距估计算法估计摄像机焦距，若焦距已知，则直接跳转至步骤(4)；步骤(4)、根据步骤(3)获得的焦距将平面图像映射至圆柱面图像，并进行图像融合，获得全景图像；步骤(2)所述的特征点粗匹配过程具体如下：首先对图像进行网格划分，每个网格宽度、高度可根据预测误差进行修正，使得匹配特征点落入以预测点P′为中心的9个网格内的概率η＞95％；设有n帧待拼接图像，对k‑1帧图像上一点P，1≤k≤n，使用式(1)预测P点的匹配点P′位置；然后在P′所在的网格以及周围8个网格内搜索点P的匹配特征点，完成特征点粗匹配；P′(x,y,1)＝H_k‑1P(x,y,1)   式(1)其中H_k‑1为k‑1帧图像的投影变换矩阵；步骤(3)所述的使用提纯后的匹配特征点利用基于纯旋转运动的自动焦距估计算法估计摄像机焦距过程具体如下：3.1基于纯旋转运动的自动焦距估计，具体是采用特定的小孔成像模型以及简化后的摄像机内参矩阵进行自动焦距估计：所述的小孔成像模型由虚拟球面S(O,m)、虚平面成像平面π组成；虚拟球面S(O,m)以摄像机所在位置O点为圆心以m＝1为半径，O‑xyz为摄像机坐标系，z轴与摄像机光轴一致，x轴、y轴与成像平面π的横轴U纵轴V一致，虚拟平面与成像平面π相平行，与z轴垂直，且与虚拟球面S(O,m)相切；成像平面π与点O的距离为摄像机焦距f；对于空间中一静止点P，其在虚球面S(O,m)上的投影点为s，经过点P与点O的直线交虚平面于点交成像平面π于点p；假设扭曲参数ε＝0，摄像机横纵比为1，即则简化后的摄像机内参矩阵见式(2)：设点p的齐次坐标为[u,v,1]^T，T表示矩阵的转置，其中u，v分别表示点p在U，V坐标轴上的坐标，则的坐标为：式中f_u，f_v分别为摄像机在U，V方向的焦距，(u₀,v₀)为摄像机主点；根据(4)式，点s的坐标表示为：当摄像机作纯旋转运动时，球面投影点间的距离保持不变，即||s_i‑s_j||₂＝||s′_i‑s′_j||₂   式(5)式中，s_i、s_j与s′_i、s′_j分别表示空间任意两点在虚球面S(O,m)上的投影点以及与之对应的在摄像机旋转后的投影点；将式(3)～(4)代入式(5)中，整理并化简后得摄像机内参的约束方程：a_iλ_ia_jλ_j+b_iλ_ib_jλ_j+λ_iλ_j＝a′_iλ′_ia′_jλ′_j+b′_iλ′_ib′_jλ′_j+λ′_iλ′_j   式(6)式中，a_i、b_i、λ_i与a_j、b_j、λ_j表示空间任意两点P_i、P_j在虚球面投影的坐标参数，a′_i、b′_i、λ′_i与a′_j、b′_j、λ′_j表示P_i、P_j在摄像机旋转后的投影坐标参数；若设摄像机主点为图像中心，即W、H’分别为图像宽度和高度；则式(6)是焦距f的方程，式(4)、式(5)代入式(6)中，整理并化简得：A₆f⁶+A₄f⁴+A₂f²+A₀＝0   式(7)其中式中，u_i、v_i与u_j、v_j表示空间任意一点P_i与点P_j在图像中的横坐标、纵坐标，u′_i、v′_i与u′_j、v′_j表示点P_i与点P_j在摄像机旋转后的图像中的横坐标、纵坐标；根据式(7)～(9)，任取两对匹配特征点即可估计出一个焦距值f；采用多次采样方法，并舍弃不合理的焦距值，选取平均值得到估计的焦距值f₀；3.2基于单应矩阵的焦距修正图像拼接使用8参数的透视变换矩阵进行图像投影：式(10)中h₁、h₂、h₄、h₅与图像旋转、尺度变化相关，h₃、h₆与图像平移相关，h₇、h₈与图像在x轴方向、y轴方向形变相关；假设焦距保持不变，即图像间不存在缩放问题，如果焦距估计准确，通过式(11)把平面投影到圆柱平面后，各个图像将位于同一个圆柱平面，那么图像之间就只存在旋转和平移变换，图像间的透视变换将会退化为仿射变换，即透视变换的矩阵H的h₇、h₈为0；式中：(x,y)为平面图像中任意一点，(x″,y″)为点(x,y)映射至圆柱面图像后的位置；在实际图像拼接中，摄像机沿着x轴方向运动，y轴方向运动相对可以忽略；修正焦距f，使得|h₇|达到最小；所述的自动焦距修正具体是：3.2.1首先使用3.1节给出的焦距估计算法得到焦距估计值f₀，使用f₀通过式(11)把精确匹配特征点集Ω变换为圆柱图像匹配特征点集Ω′，然后通过Ω′计算投影变换矩阵H₀,并得到并记录的正负符号设定焦距初始修正值g₀，f＝f₀，设其中表示第i次计算得到透视变换矩阵参数h₇的值，SI_i表示第i焦距修正的正负符号，1≤i≤M，M为焦距修正需要迭代的次数，取表示向下取整，g₀是一个经验值；3.2.2把焦距值f_i‑1代入式(11)中，f_i‑1表示第i‑1次焦距修正后的焦距，对匹配特征点集Ω进行坐标变换，即平面坐标变换为圆柱坐标，得到新的匹配特征点集Ω′；3.2.3使用Ω′计算新的投影变换矩阵H_i，并得到新的矩阵参数值，的符号为SI_i；3.2.4如果则f_i＝f_i+g_i；如果则f＝f_i‑1，直至循环次数i>M，则终止循环，否则返回3.2.2，进行下一次焦距修正。