[发明专利]一种全景影像无缝拼接方法

摘要

本发明涉及一种全景影像无缝拼接方法，主要包括包括步骤：步骤1、假设有若干个影像，每个影像分别由a1，a2，...，an；b1，b2，...，bn；...；d1，d2，...，dn；.....帧构成，分别对原始影像的a1～an帧图像进行预处理，对a1、b1、...、d1；a2、b2、...、d2；.....帧图像进行预处理并采用改进ORB算法对该帧图像进行图像配准；步骤2、PROSAC算法剔除虚假匹配；步骤3、计算上述步骤中已匹配特征点坐标关系的数学模型，即变换矩阵H；步骤4、计算接缝线；本发明实现将多段影像拼接成全景无缝影像，其拼接速度快，拼接质量良好，且有效的消除了重影。

主权项

1.一种全景影像无缝拼接方法，其特征在于：主要包括：步骤1、假设有若干个影像，每个影像分别由a1，a2，...，an；b1，b2，...，bn；...；d1，d2，...，dn；.....帧构成，分别对原始影像的a1～an帧图像进行预处理，对a1、b1、...、d1；a2、b2、...、d2；.....帧图像进行预处理并采用改进ORB算法对该帧图像进行图像配准；步骤2、PROSAC算法剔除虚假匹配；步骤3、计算上述步骤中已匹配特征点坐标关系的数学模型，即变换矩阵H；步骤4、计算接缝线；步骤5、改进的加权平均融合方法将a1、b1、...d1帧图像融合成全景无缝图像；步骤6、当第一帧a1、b1、...d1的图像拼接完成后，利用卡尔曼滤波结合交互多模型(IMM‑FT)对该帧检测到的特征点进行跟踪，以预测在下一帧a2、b2、..d2图像中特征点的位置并完成校正；步骤7、重复上述步骤直至所有帧拼接完毕；所述对原始影像的a1～an帧图像进行预处理方法包括：步骤1、加权中值滤波对原始图像进行降噪；步骤2、直方图匹配方法对原始图像进行调整，使其处于相同或相近的亮度水平；所述采用改进的ORB算法进行图像配准，具体包括以下三个步骤：步骤1、用OrientedFAST算法来进行特征点检测，并计算特征点主方向；步骤2、利用改进的BRIEF算法进行特征点描述，生成RotatedBRIEF特征描述子；步骤3、在特征点匹配中，改进原算法，以减少单一的Hamming距离可能造成的不正确匹配的数量，过程如下：a.计算Hamming距离D，r₁和r₂是分别是两个二进制串形式的特征点描述子，则Hamming距离b.计算两个特征点Hamming距离相似度：式中n为r₁和r₂描述子的长度，S_Hamming越大则两个特征点相似度越高，本发明设置Hamming距离相似阈值S_Thr1＝0.8，若S_Hamming＞S_Thr1，则两个特征点匹配，否则不匹配；c.计算上述步骤b中匹配的特征点对即满足S_Hamming＞S_Thr1的特征点对的余弦相似度S_cos，a₁和a₂是分别是两个向量形式的特征点描述子，S_cos∈[‑1,1]，S_cos越大则两个特征点相似度越高；d.将步骤b中计算的S_cos与余弦相似阈值S_Thr2进行对比，若余弦相似度S_cos＞S_Thr2，则为正确匹配，反之，则为错误匹配；e.同时满足以下两个条件的匹配记为正确匹配：①S_Hamming＞S_Thr1，②S_co_s＞S_Thr2，否则为错误匹配，予以剔除；f.重复以上步骤a‑e直至所有特征点匹配完毕，所述计算接缝线的步骤如下：步骤1、计算Grdist矩阵，其计算过程如下：GrImg＝|grImg₁‑grImg₂|+mask’数字彩色图像是M×N的三维矩阵，M×N表示图像尺寸，单位是像素，三维可以理解为M×N的矩阵有三个，分别是R、G、B域的值，上式中Img₁和Img₂是具有重叠区域的图像，即图像矩阵，Img₁‑Img₂是图像矩阵的差值，max_r、min_r、max_c、min_c分别是图像矩阵行和列的最大值和最小值，mean_r(RGB)和mean_c(RGB)分别是图像矩阵行和列的平均值，T_(RGB)是计算得到的一个阈值，mask是一个比较生成的逻辑矩阵，GrImg是求得的灰度图像，grImg₁和grImg₂是图像的梯度，|grImg₁‑grImg₂|代表对求得的差值矩阵的每个元素取绝对值，再计算GrImg的每个像素点的灰度加权距离，把这些计算得到的灰度加权距离写入矩阵Grdist中，即得到Grdist矩阵；步骤2、计算值矩阵Val，其计算方法如下：ImgDif＝|Img₁‑Img₂|,其中Img_i是带有重叠区域的图像，ImgDif是图像矩阵差值的绝对值，ImgDif_max和ImgDif_mid表示对Img₁‑Img₂图像矩阵的R、G、B三个矩阵的对应元素取最大值和中间值；步骤3、确定满足最佳路径的点，在Grdist矩阵中选定一个中心点及其相邻的八个点组成的块，选择值小于中心点的相邻点，这些相邻点中，值矩阵中对应的值最小的点将被选为下一个点；步骤4、对步骤3进行迭代计算，直到确定矩阵中所有满足上述条件的点，最后这些点可确定最佳接缝，所述改进的加权平均融合方法，其计算方法如下：f(x,y)＝α₁f₁(x,y)+α₂f₂(x,y),(x,y)∈(f₁∩f₂)，式中f是融合的图像，f₁和f₂是图像的重叠部分，分别是f₁和f₂中像素对应的权重，α₁+α₂＝1，α₁＜1,α₂＜1，W_x为重叠区域的宽度，(x，y)是像素点的坐标；所述利用卡尔曼滤波结合交互多模型方法对该帧检测到的特征点进行跟踪，步骤如下：步骤1、输入交互：由上一个周期和协方差得到的状态估计S_1P和S_2P，在t‑1时刻根据条件概率模型混合交互得到S_o1P和S_o2P；步骤2、卡尔曼滤波器跟踪特征点位置，步骤如下：a、卡尔曼滤波的预测阶段：(a1)、计算状态模型：S(t)＝A(t)*S(t‑1)+W(t‑1)，式中S(t)表示位置状态模型，A(t)是状态转移矩阵，S(t‑1)为上一帧的的位置状态模型，W(t‑1)是高斯白噪声；(a2)、计算测量模型：M(t)＝H(t)*S(t)+V(t)，式中M(t)代表测量模型，H(t)为测量矩阵，V(t)为高斯白噪声(测量噪声)；(a3)、计算先验位置：S_Priori(t)＝A(t)*S(t‑1)，式中S_Priori(t)是先验位置；(a4)、计算先验协方差：P_Priori＝A(t)*P(t‑1)*A(t)^T+Q(t)，式中P_Priori为先验协方差，P(t‑1)表示上一帧的协方差，T代表变换，Q(t)是过程噪声的协方差。b、卡尔曼滤波的校正阶段，校正上一步骤中预测的特征点位置，其计算过程如下：(b1)、计算卡尔曼增益：K(t)＝P_Priori(t)*C(t)^T*(C(t)*P_Priori(t)*C(t)^T+R(t))^‑1，式中C(t)是状态模型和测量模型之间的转换关系，R(t)是测量噪声协方差，计算中已知；(b2)、计算后验位置：S_Posteriori(t)＝S_Priori(t)*K(t)*(M(t)‑H(t)*S_Priori(t))，(b3)、计算后验协方差：P_Posteriori(t)＝(I‑K(t)*H(t))*P_Priori，(b4)、校正完成后，更新下一状态协方差噪声，以预测下一个特征点位置的下一个状态和协方差，步骤3、更新模型概率；步骤4、根据单个模型单独计算的跟踪结果和模型匹配得权重输出t时刻交互数据结果，步骤5、使用当前帧的单个状态运动模型估计作为下一帧的状态估计，并且对每个后续帧继续处理，以完成所有帧的特征点位置预测和校正。