[发明专利]一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法

说明书

本发明公开了一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，其特征在于，包括：采集多视角2D图像和3D点云数据；通过配准获取完整飞机点云模型；提取图像与点云特征点，根据特征匹配进行2D‑3D对应；根据2D‑3D的对应关系估计相机的位姿；根据相机位姿，实现2D图像的纹理颜色到3D点云的赋值；根据点云颜色和坐标信息，确定点云语义分割；根据点云语义分割，进行飞机外形缺陷的检测和分析。本发明方法基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，利用视觉传感器设备和光学三维检测系统测量技术，对采集到的2D+3D数据进行处理分析，可以准确有效的检测和提取出大飞机上的外形缺陷，且构思合理，实践中，可在飞机安全巡检等场景中实现自动化应用。

技术领域

本发明涉及深度学习、计算机视觉和图形学等领域，具体为一种用于大飞机外形缺陷的检测与分析方法。

背景技术

传统的无损检测(Non-destructive testing，NDT)技术利用声、光、磁、电的特性，在不损害或不影响被检对象使用性能的前提下，检测被检对象中是否存在缺陷或不均匀性，给出缺陷的大小、位置、性质和数量等信息，进而判定被检对象当下的技术状态(如合格与否、剩余寿命等)，在大飞机缺陷检测方面有重要地位。然而，传统的无损检测同时具有检测成本高、速度慢的特点，并且，虽然其对体积型缺陷(气孔、夹渣、夹钨、烧穿、咬边、焊瘤、凹坑等)检出率很高，但如果照相角度不适当，对面积型缺陷(未焊透、未熔合、裂纹等)却容易漏检。

目前，通过基于爬行机器人的计算机视觉技术对大尺寸飞机外形缺陷进行检测与分析是主流的无损检测技术之一。这项技术利用一个带有吸盘脚的“平面履带式”移动机器人在飞机蒙皮上爬行，并同时进行缺陷定位与分析。具体而言，使通过使用安装在移动机器人上的四个摄像头，利用计算机视觉算法进行铆钉检测，并将机器人脊柱轴线与铆钉线对齐，从而将其定位在正确的位置。然而，这种技术由于受光照影响很不稳定，结构设计要求高，标定繁琐、漏检率比较高。所以，自动无损检测在视觉检测方面并没有获得巨大成功。

随着数字化测量技术的发展，使用激光跟踪仪及激光扫描仪进行大尺寸飞机停机状态全机外形检测的工程技术方法已经成为现实。基于激光跟踪仪的大飞机外形检测是针对一些尺寸大的飞机或特殊飞行器提出的整机停机状态下非接触式测绘与检测方法，其测绘对象尺寸非常大，翼展超过40m，三视图尺寸46m×42m×14m，精度要求高，要测的内容非常繁多，不仅包括机头、机身、机翼、发动机舱、平尾和垂尾等关键部件的整体外形测绘，还需进行巡航、起飞、降落等不同构型状态下的各活动翼面的不同位置的外形测绘等。然而，激光跟踪仪获取的3D点云数据虽然具有较高的精度，也有自身的问题，比如点比较稀疏，对于算法而言有效感知距离不会超过10m。另外，直接基于3D点云，其难点在于没有视觉特征使得跟踪和定位等任务不如视觉中直接。视觉的优势在于包含的信息量巨大，可以提供大量的视觉特征。

从以上分析可知，视觉和激光跟踪仪不应该是矛盾的两个技术，而是各有优势和劣势。随着计算机视觉和机器学习水平的发展，计算机视觉可以代替人眼对目标进行识别、定位和测量，已应用于许多工业检测问题。

发明内容

本发明的技术目的是提供一种基于深度学习的2D+3D大飞机外形缺陷检测与分析方法，结合视觉传感器设备和光学三维检测系统，利用采集到的数据完成对大飞机外形缺陷的检测和分析，以填补现有技术的空白。

本发明提供的技术方案为：

一种2D+3D大飞机外形缺陷检测与分析方法，其特征在于，包括：

步骤S1.利用安装在移动机器人上的PTZ相机和激光跟踪仪从多个站位分别采集大尺寸飞机的图像和点云，构成多视角2D图像和3D点云数据；

步骤S2.通过3D点云配准获取完整飞机点云模型；

步骤S3.分别提取2D图像与3D点云特征点，根据特征匹配进行2D-3D对应；