[发明专利]一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法

权利要求书

1.一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，其特征在于，包括：

步骤S1.利用安装在移动机器人上的PTZ相机和激光跟踪仪从多个站位分别采集大尺寸飞机的图像和点云，构成多视角2D图像和3D点云数据；

步骤S2.通过3D点云配准获取完整飞机点云模型,具体包括：

S2.1.基于全局测量场进行初始配准

利用激光跟踪仪，通过自标定测距的方法计算出安置在飞机周围标靶点的全局坐标，并以此构建出整体飞机的全局测量场；

在建立好全局测量场之后，针对在某一站位视角下激光扫描仪所测点云数据，通过将点云中的标靶点与该站位下跟踪仪所测同名标靶点进行配准，从而将此站位的点云数据转换至全局坐标系内；

用p_i表示全局坐标系下标靶点的坐标，q_i表示激光跟踪仪局部坐标系下的所述标靶点的坐标，可得集合P＝{p₁，p₂，…，p_n}和Q＝{q₁，q₂，…，q_n}，将P作为目标点云，Q作为源点云，p_i为点云P中的点，q_i为点云Q中的点，n为点云的点数，利用最小二乘法来确定两点云的刚体定向关系：

其中，R，t分别为两组点云对应的旋转矩阵和平移矩阵；

对(1.1)中的t求偏导可得平移矩阵其中分别为两组点集P,Q的重心；

通过平移，两点云中点的新坐标可分别表示为：

也就是将作为两点云的初始平移向量进行配准；

公式(1.1)可简化为：

为将目标函数最小化，需

进行SVD分解H＝UΛV^T,U为奇异向量组成的矩阵，V为U的逆矩阵，Λ为奇异值组成的对角矩阵；当R＝VU^T时，公式(1.2)取得最小值，此时得到最佳旋转矩阵；之后利用所述最佳旋转矩阵，完成点云P和Q的粗配准；

S2.2.在初始配准的基础上，进行基于图优化的精配准；

通过将每站点云和点云之间的重叠面积转化为图中的节点和边的权值，建立用于优化的无向图模型，通过迭代寻找并闭合新生成的环完成整个点云的精配准；

步骤S3.分别提取2D图像与3D点云特征点，根据特征匹配进行2D-3D对应，具体包括：

S3.1.利用2D SIFT检测器在图像上提取一组特征点；

S3.2.利用3D ISS对优化配准后的大飞机点云提取一组特征点；

S3.3.根据步骤S3.1 和S3.2 提取的两组特征点，利用Triplet深度神经网络联合学习图像和点云的特征点描述子，获得2D-3D的对应关系；

步骤S4.根据2D-3D的对应关系，估计相机的位姿，具体包括：

S4.1.根据特征向量之间的欧式距离，计算每对2D/3D特征点描述子的相似性度量矩阵，然后按照相似性度量对每个2D图像特征点的3D特征点进行排序；

S4.2.获取三组以上的根据步骤S4.1得到的特征匹配对，根据PnP算法估计相机位姿，并通过随机抽样一致性算法排除匹配错误的匹配对；

步骤S5.根据相机位姿，实现2D图像的纹理颜色到3D点云的赋值,得到带纹理信息的3D点云，具体为：

根据估计的相机位姿，将3D点云映射到图像空间；然后，对于正确匹配的2D-3D特征点对，将2D特征点颜色信息赋给对应的3D特征点；对于非匹配的2D-3D特征点对，选取最近的2D特征点，并将颜色信息赋给3D特征点；对于其他非特征点，使用插值法得到颜色信息；

步骤S6.对所述带纹理信息的3D点云进行语义分割；

步骤S7.根据语义分割的结果对大飞机进行缺陷分析。