[发明专利]基于点结构光测距的单目视觉重建中尺度因子确定方法

摘要

基于点结构光测距的单目视觉重建中尺度因子确定方法，该方法包括光斑质心中心定位、空间直线拟合、RANSAC排异、求取光斑三维空间点坐标、尺度因子的求取。针对传统的基于图像序列的单目视觉三维重建方法大多只能实现射影尺度或仿射尺度下的三维重建，本发明提出一种利用点结构光作为辅助来实现单目视觉的欧氏三维重建方法,使得利用图像序列重建后的三维场景与现实世界场景的尺度保持一致。本发明的技术特征如下：(1)单目重建引入结构光主动视觉实现欧氏三维重建，(2)质心法光斑定位，(3)加入RANSAC剔除机制的激光器射线方程拟合，(4)反投影优化的光斑空间点定位，(5)单目重建各种方法的欧氏重建不受限制。

主权项

1.基于点结构光测距的单目视觉重建中尺度因子确定方法，其特征在于：尺度因子求取过程中；整个标定均统一到摄像机坐标系上；摄像机内部参数使用基于2D平面靶标的摄像机标定方法进行标定，在标定结构光系统参数时，保持相机和激光器的空间位置不发生变化；然后将激光光斑投射于棋盘靶标所处的平面上，拍下此时的图像，然后关掉激光器再拍下此时的图像，按照此步骤重复将靶标摆放任意次获得一组数据图像，根据背景差分法可获得每个位置的靶标对应的光斑信息；利用靶标上的角点信息得到每次摆放靶标平面的外参数矩阵，再加上每次标定图像中激光光斑的质心坐标信息，就得到每次摆放靶标时激光光斑质心的空间坐标；这样将多次摆放求得的激光光斑质心坐标的结果进行Levenberg-Marquardt拟合，即可得到激光光线的空间方程；通过标定好的敏感器内参数信息得到图像平面上激光光斑的空间坐标；理论上激光光线与相机光心和激光光斑在图像上的像点坐标直线会完全重合，但是，由于标定和计算的误差，这两条直线会形成异面直线，设定两条异面直线的公垂线中点为激光亮点的真实空间坐标，真实尺度因子即利用点结构光标定得到光斑的真实空间坐标与运用三维重建算法得到的光斑空间坐标之比，进而达到欧氏重建效果；本方法具体包括以下几个步骤；(1)点状光斑的中心定位先通过各种滤波或阈值选取方式对图像进行预处理，然后再对图像光斑进行质心定位；对整个图像像素处理结束后，根据各个光斑最终质心参数组累加值，按照如下的一阶矩质心计算公式计算其质心行列坐标：上式中I(x,y)表示输入图像像素的灰度值，x,y是该像素对应的行列坐标，Xc,Yc分别为光斑质心的行列坐标；(2)加入RANSAC剔除机制的激光器射线方程拟合RANSAC通过反复选择数据中的一组随机子集来达成目标；被选取的子集被假设为局内点，并用下述方法进行验证，其模型描述如下：1)从所有光斑质心I中选取n个点作为内点，根据最小二乘法利用n个点可以估计空间直线方程L:Ax+By+Cz+D＝0，即方程的所有的未知参数(A,B,C,D)都能从假设的局内点计算得出；2)用1)中得到的模型去测试所有的其它剩余的光斑质心，其光斑质心个数为I-n，如果某个光斑质心点适用于估计的空间直线模型L，即如果某个光斑质心坐标(x’,y’,z’)满足Ax’+By’+Cz’+D<|σ|,认为此质心点也是局内点，其中σ为设定的阈值；3)如果有足够多的光斑质心点被归类为假设的局内点，即有足够多的光斑质心点，假设有m个点，满足Ax’+By’+Cz’+D<|σ|，那么估计的模型L就足够合理；4)然后，用m个满足条件的局内点去重新估计模型，因为它仅仅被初始的假设局内点估计过；5)最后，通过估计局内点与模型的错误率来评估模型；这个过程被重复执行固定的次数t次，每次产生的模型要么因为局内点太少而被舍弃，要么因为比现有的模型更好而被选用；(3)求取光斑三维空间点坐标然而由相机光心发出经过光斑质心的射线与激光器投出的射线的交点由于误差原因并不能完全交于一点，因此，采用异面直线公垂线中点算法，实际应用中使用这个线间距的线段中点作为激光亮点的空间坐标，这样即可求得图像中光斑质心的图像坐标对应的空间点三维坐标；具体数学模型如下:通过相机光心发出的射线O1P1方向向量为V1,相机坐标系下拟合的激光器发出光线O2P2的方程方向向量表示为V2,则其公垂线的方向向量为V＝V1×V2,设公垂线与O1P1、O2P2的交点分别为M1(x1,y1,z1)和M2(x2,y2,z2)，则激光光斑的空间三维点坐标为M(x,y,z)，其中x＝(x1+x2)/2，y＝(y1+y2)/2，z＝(z1+z2)/2；利用反投影迭代法来优化求得的空间三维点坐标，具体方法如下：首先根据异面直线公垂线中点算法求得光斑质心的图像坐标[u,v]对应的空间点三维坐标[x,y,z]后，将此空间点反投影到图像，即求取空间三维点与相机光心连线与图像坐标的交点[u’,v’]，这样可以得到取光斑质心与反投影后图像坐标的中点[(u+u’)/2,(v+v’)/2],并将此作为光斑质心，根据异面直线公垂线中点算法求取空间三维点坐标，不断重复上述过程，计算空间点三维坐标M(x*,y*,z*)与激光器投出直线l的距离δ，空间直线方程为Ax+By+Cz+D＝0，计算公式为若δ小于某个阈值，则至此迭代结束；(4)实现欧氏三维重建采用基于场景流反馈驱动的单目视觉大场景三维重建方法，具体步骤如下：手持自由移动式相机采集目标场景的多视图像，由相邻帧间光流场建立贯穿多视的像素匹配关系，继而利用五点算法求解多视间的欧氏空间转换关系；选取中央视图为参考帧，建立世界坐标系Ow-XwYwZw，求解相应像点对应的稀疏空间三维坐标；在稀疏重构的基础上生成原始网格面片，并反馈至各比较帧视角，由光流场定量评价反馈误差，并用各视图像的偏差驱动模型变形；由于光流矢量场蕴含了空间物体的运动矢量场信息，因而借助光流-场景流分析的方法，能够有效修正原始的多边形网格，在得到经过光流-场景流调整后的场景后，利用以上步骤得到的空间尺度因子，即可得到三维场景的欧氏重建。