[发明专利]一种虑及三维畸变的双目视觉重建方法

摘要

本发明一种虑及三维畸变的双目视觉重建方法属于计算机视觉测量技术领域，涉及一种虑及三维畸变的双目视觉重建方法。该方法引入三维畸变修正函数对视觉重建的结果进行补偿优化，实现三维高精度重建。该方法首先采用传统双目视觉重建方法获得测量点的三维重建初值；然后基于标准物与双目相机的相对关系及重建初始值，求解三维畸变补偿值；进而对左右图像分别提取的被测点摄像机坐标进行畸变补偿；最终结合双目视觉原理重建，实现双目三维高精度重建。该方法重建精度高，可补偿双目视觉的三维畸变，实现具有大曲率大尺寸零件形面重建，提高双目视觉的三维重建精度。

主权项

一种虑及三维畸变的双目视觉重建方法，其特征是，该方法引入三维畸变修正函数对视觉重建的结果进行补偿优化，实现三维高精度重建；该方法首先采用传统双目视觉重建方法获得测量点的三维重建初值；然后基于标准物与双目相机的相对关系及重建初始值，求解三维畸变补偿值；进而对左右图像分别提取的被测点摄像机坐标进行畸变补偿；最终结合双目视觉原理重建，实现双目三维高精度重建；方法具体步骤如下：第一步 三维重建初值计算首先进行双目相机标定，基于张氏标定方法实现左、右相机(1、4)的各自内外参数标定，其标定公式如下：suv1=M1RT0T1XwYwZw1=M1×M2XwYwZw1=MXwYwZw1---(1)]]>其中，u,v分别是图像的行列像素坐标值，Xw,Yw,Zw代表被测点在世界坐标系里的三维坐标值，Xc,Yc,Zc代表被测点在摄像机坐标系里的三维坐标值，M1为相机内参数矩阵，M2为相机外参数矩阵，包括旋转矩阵R、平移矩阵T，s是未知的尺度因子；M为相机单应矩阵，其中M可表示为：M=m11m12m13m14m21m22m23m24m31m32m33m34---(2)]]>其中，mij为投影矩阵M中第i行第j列的值；左右相机的相关参数采用上角标l,r分别来表示；根据相机的径向畸变函数，对畸变系数进行计算，其公式如下：xk=x+xk1(x2+y2)yk=y+yk1(x2+y2)---(3)]]>其中，xk,yk分别是实际径像畸变情况下的归一化坐标，x,y代表理想无畸变时的归一化坐标，k1为图像径向畸变系数，基于相机标定参数所求解的理想归一化坐标和图像提取的归一化坐标，以公式(3)为目标函数，采用LM优化方法求解图像畸变系数k1；然后，利用空间两个固定放置的标定右相机的平面靶标(3)和标定左相机的平面靶标(2)对左、右相机(1、4)进行角度调整，即左右相机的相机平面与对其对应的平面靶标平行，其旋转矩阵R满足：R=abϵcdϵϵϵγ---(4)]]>其中，a,b,c,d为旋转矩阵参数，ε为无限接近于0的值，|γ|无限接近于1；进行左右相机的结构参数标定，即实现左右相机之间旋转平移矩阵的计算，其计算公式如下：XwrYwrZwr1=Rl-rXwlYwlZwl1+Tl-r=RrRl-1XwlYwlZwl1-RrRl-1Tl+Tr---(5)]]>其中，和分别为被测点分别在以左右摄像机坐标系为世界坐标系的情况下三维坐标，简称为左、右相机坐标系的世界坐标，Rl‑r和Tl‑r分别为左相机坐标系到右相机方法的旋转、平移矩阵，即双目相机的结构参数；Rl,Tl和Rr,Tr分别为左右相机的外参数，Rl‑1为左相机外参数旋转矩阵的逆；再进行特征提取与初值重建，采用灰度重心法提取被测目标的特征中心，左右相机提取的特征坐标分别为pl(ul,vl)，pr(ur,vr)；以左相机为世界坐标系，将左右所提取的特征点进行三维重建，其公式如下：Xwlm11l+Ywlm12l+Zwlm13l+m14l-ulXwlm31l-ulYwlm32l-ulZwlm33l=ulm34lXwlm21l+Ywlm22l+Zwlm23l+m24l-vlXwlm31l-vlYwlm32l-vlZwlm33l=vlm34lXwlm11r+Ywlm12r+Zwlm13r+m14r-urXwlm31r-urYwlm32r-urZwlm33r=urm34rXwlm21r+Ywlm22r+Zwlm23r+m24r-vrXwlm31r-vrYwlm32r-vrZwlm33r=vrm34r---(6)]]>其中，为左相机投影矩阵Ml中第i行第j列的值；ul,vl分别是左相机图像像素值；为右相机投影矩阵Mr中第i行第j列的值；ur,vr分别是右相机图像像素值，且左右图像的像素点为匹配点；为最终所求被测点的三维坐标，即全局坐标系以左相机的相机坐标系为建立；第二步 基于三维畸变的参数计算基于双目相机标定结果计算合焦位置的三维畸变的性质参数，所标定的相机焦距可表示为Cs，合焦位置的深度可表示为：Ss=Cs·dphydpix·λ---(7)]]>其中，Ss为合焦位置的深度，Cs为相机焦距，dpix为平面靶标在图像上的像素长度，dphy为平面靶标的真实物理尺寸，λ为相机的像元尺寸；计算相机的凸透镜焦距F，其计算公式如下：F=Cs·SsCs+Ss---(8)]]>其中，F为相机的凸透镜焦距，Ss为合焦位置的深度，Cs为相机焦距，将相机平行移动相机位置到S1和S2位置，对相机进行标定，基于公式(8)计算这两个位置的深度值S1和S2，并基于公式(3)计算在该两个位置畸变系数和第三步 畸变补偿与高精度重建畸变补偿值计算，基于初值计算结果和参数计算结果，计算左右相机的三维空间畸变量，其中左相机的畸变量为：δl=CslZwl+SslZwl-Csl·SslSslZwl[(S2l-ZwlS2l-S1l·S1l-FlZwl-Fl)k1s1l+(1-S2l-ZwlS2l-S1l·S1l-FlZwl-Fl)k1s2l]rl---(9)]]>其中，δl为左图像测量点的畸变量，为合焦位置的深度，为相机焦距，Fl为相机的凸透镜焦距，和分别为相机平行移动的两个位置深度，和分别为和位置畸变系数，为以左相机的相机坐标系为世界坐标系所获得的被测点Z轴的值，rl为被测点在左图像的径向长度；右相机的畸变量为：δr=CsrZwr+SsrZwr-Csr·SsrSsrZwr[(S2r-ZwrS2r-S1r·S1r-FrZwr-Fr)k1s1r+(1-S2r-ZwrS2r-S1r·S1r-FrZwr-Fr)k1s2r]rr---(10)]]>其中，δr为右图像测量点的畸变量，为合焦位置的深度，为相机焦距，Fr为相机的凸透镜焦距，和分别为相机平行移动的两个位置深度，和分别为和位置畸变系数，为以右相机的相机坐标系为世界坐标系所获得的被测点Z轴的值，rr为被测点在右图像的径向长度；补偿与重建，基于所求的畸变量，对被测点进行补偿，左图像补偿后的被测点图像坐标为：ul=ul+δl·fxlu0l,vl=vl+δl·fvlv0l---(11)]]>其中，ul和vl为被测点提取图像列坐标，δl为左图像测量点的畸变量，和分别为左相机标定的焦距和主点坐标，是相机标定的固有参数；右图像补偿后的被测点图像坐标为：ur=ur+δr·fxru0r,vr=vr+δr·fvrv0r---(12)]]>其中，ur和vr为被测点提取图像列坐标，δr为右图像测量点的畸变量，和分别为左右相机标定的焦距和主点坐标，是相机标定的固有参数；根据公式(6)实现被测点的高精度重建。