[发明专利]井字结构光相机系统及进行目标有尺度三维重建的方法

权利要求书

1.一种目标有尺度三维重建的方法，其特征在于：具体步骤如下：

步骤一：井字结构光相机系统参数标定：对井字结构光相机系统进行参数标定，确定井字结构光发射器在工业相机坐标系下的位置以及结构光光线的方向向量，在标定过程中固定好井字结构光相机系统，保持其空间位置不动，以标定板为辅助工具标定井字结构光相机系统，前后不断移动标定板，那么井字结构光会在标定板上投射出多个井字标记，拟合所有井字标记的左上方十字交叉点得到井字结构光光线的空间直线方程；

由于在标定过程中会受到标定板的精度、井字结构光相机系统震动的影响，求解的十字交叉点坐标容易出现较大误差，即出现局外点，因此将最大互相关熵准则和空间直线的拟合相结合；具体结合方法为：

对于空间直线，其标准式方程为：

转化为：

设那么空间直线表示为：

空间直线的误差形式为：

式中：i表示第i个十字交叉点；Z_i、XY_i表示第i个十字交叉点三维坐标形成的矩阵；所以目标函数为：

式中：θ＝[a b c d],Z表示由i个Z_i组成的矩阵，XY表示由i个XY_i组成的矩阵；利用最大互相关熵准则转换该目标函数为：

式中N表示十字交叉点的个数，e_j表示误差矩阵中的第j个元素，σ表示高斯核带宽；通过不断地迭代求解该目标函数得到θ＝[a,b,c,d]^T的值，利用a,b,c,d的值得到直线的未知参数[x₀,y₀,z₀,A,B,C]，用公式求得拟合直线与工业相机坐标系XOY平面的交点；交点坐标P_XOY和井字结构光光线的空间直线方向向量D_L＝[A,B,C]^T为井字结构光相机系统的参数标定结果；标定结果受外界影响小；

步骤二：井字标记的图像识别：井字标记图像识别的目的为得到十字交叉点的像素坐标，包括两个步骤：

步骤1：候选区域的检测

井字标记的成像小，为了减小后续操作的时间复杂性，首先进行候选区域的检测；井字标记在图像中亮度高且属于连通域，且结构光本身和汉字有一定的相似性，所以利用字符检测常用的最大极值稳定区域算法进行候选区域检测，该算法能够检测出多个候选区域；算法具体使用方法为：用工业相机拍摄带有井字标记的目标，将拍摄得到的彩色图像转为灰度图像，作为最大极值稳定区域算法的输入，该算法的检测函数拟合不规则的区域为椭圆区域，所以在使用该算法时根据井字标记的形状和大小对不符合条件的区域进行剔除处理：

(1)利用椭圆长短轴的长度剔除大小不合适的椭圆；

(2)椭圆离心率需要小于阈值，离心率较大，那么椭圆较为扁平，不符合井字区域的特征；

(3)为方便后续处理，得到椭圆区域的外接矩形框；计算两两矩形框的重叠率，并用二阶矩阵的形式表示，将重叠率小于阈值的位置设为零；将二阶矩阵转化为图，节点代表矩形框，所有非零重叠率的矩形框具有连接关系，然后利用图的连接分量将多个重叠的矩形框合并；

经过上述剔除处理，仅有少数的候选区域被保留；

步骤2：井字标记的图像识别

对步骤二中步骤1得到的候选区域进行二值化处理，处理后的候选区域被定义为一个矩阵，每个元素的值为0或者1，由于井字标记有光晕，也就是井字标记中的直线会有宽度，采用Zhang-Suen细化算法对二值化后的候选区域进行细化处理，应用Zhang-Suen细化算法时，直接将二值化后的候选区域作为算法输入，输出为细化后的候选区域；

采用LSD直线检测算法检测井字标记中的四条直线；该算法具体使用方法为：将细化后的候选区域作为LSD直线检测算法输入，输出为一系列线段检测结果，为了得到井字标记的左上方十字交叉点坐标，首先对LSD直线检测结果进行直线合并，并用井字的几何性质识别井字标记，几何性质描述为：

(1)井字标记有两组平行直线；

(2)对于某组平行直线中的一条直线，和另一组平行直线都垂直；

(3)井字标记的四个交叉点形成四边形，其长宽比确定；

利用几何性质能够识别图像中的井字标记，并且得到井字标记的左上方十字交叉点坐标；

步骤三：尺度因子估计与优化

利用井字标记左上方十字交叉点在工业相机坐标系下的无尺度三维坐标以及有尺度三维坐标估计出尺度因子；井字标记左上方十字交叉点无尺度三维坐标的获得方法为：对步骤二中得到的井字标记左上方十字交叉点坐标，以其邻域为候选块，在下一位姿的图像中进行模板匹配，将十字交叉点像素坐标以及匹配块坐标加入特征点对中，使用单目多视图重建技术得到十字交叉点在工业相机坐标系下的无尺度三维坐标；

井字标记左上方十字交叉点有尺度三维坐标的获得方法为：井字标记的重建；具体为：将井字结构光照射到目标物体表面，利用步骤一得到井字结构光发射器在工业相机坐标系XOY平面的交点坐标P_XOY以及井字结构光光线的空间直线方程方向向量D_L，利用步骤二得到井字标记的左上方十字交叉点M在工业相机C中的像素点坐标m₁，那么光心线的方向向量D_C便确定，则根据三角测量的原理，利用光心线的方向向量D_C和井字结构光光线的方向向量D_L能够得到十字交叉点在对应相机坐标系下的真实三维坐标；

用井字结构光相机系统在不同的角度、不同的姿态下拍摄目标物体，在各个姿态下，分别得到井字标记左上方十字交叉点在各自相机坐标系下的有尺度三维坐标和无尺度三维坐标，能够得到多个尺度因子，由于误差的原因，这些尺度因子不尽相同，计算多个尺度因子的均值作为最终的全局尺度因子；

利用光束法平差优化得到的全局尺度因子；具体方法为：

假设利用多个尺度因子的均值得到的全局尺度因子为k,那么将该全局尺度因子加入光束法平差，目标函数为：

式中：s为全局尺度因子的倒数，即s＝1/k；P为投影矩阵，P＝K[R|T]，其中K为相机的内参矩阵，R为旋转矩阵，T为平移矩阵；m为重建三维点的总个数；n为图像的总个数；X'_j＝[x'_j,y'_j,z'_j]为重建出的第j个三维点的有尺度坐标；x_ij表示第j个三维点在第i个图像上的真实像素坐标；v_ij表示如果第j个三维点在第i张图片有投影点则v_ij为1，否则v_ij为0；多次迭代最小化目标函数，当达到最小迭代误差或者到达最大迭代次数时输出最优参数，也就是最优尺度因子，获得无尺度三维模型和真实物体之间的尺度因子，从而将无尺度三维模型恢复到真实物体大小。

2.一种实现权利要求1所述方法的井字结构光相机系统，其特征在于：该系统由一个工业相机和一个井字结构光发射器组合而成，所述工业相机和井字结构光发射器平行放置，井字结构光发射器由两个直流十字结构光发射器组装而成，其中每个直流十字结构光发射器照射目标都会在目标表面产生十字标记，两个直流十字结构光发射器的组装关系使得一起同时照射目标时，目标表面两个十字标记相互交叉形成井字标记。