[发明专利]一种飞机整体油箱密封胶漏涂在线检测装置及方法

权利要求书

1.一种飞机整体油箱密封胶漏涂在线检测方法，其中，飞机整体油箱密封胶漏涂在线检测装置，包括移动平台(1)、控制机构(2)、竖直升降机构(3)、水平伸缩机构(4)以及图像数据采集机构(5)；所述的移动平台(1)内部设置有驱动装置，移动平台(1)底部设置有滚轮(12)，所述的控制机构(2)固定在移动平台(1)上，控制机构(2)与驱动装置连接，能用于控制移动平台(1)移动，所述的竖直升降机构(3)包括竖直电机(31)、竖直丝杆滑台(32)、竖直滑块(33)和标志点工装(34)，所述的竖直电机(31)固定在移动平台(1)上，竖直电机(31)与竖直丝杆滑台(32)连接，竖直滑块(33)滑动设置在竖直丝杆滑台(32)上，竖直电机(31)能驱动竖直滑块(33)在竖直丝杆滑台(32)上上下滑动，所述的标志点工装(34)固定在竖直丝杆滑台(32)上，用于和飞机整体油箱口盖附近的工装标识点相互对齐，所述的水平伸缩机构(4)包括水平电机(41)和水平丝杆滑台(42)，所述的水平电机(41)与水平丝杆滑台(42)一端连接，竖直滑块(33)可滑动地安装在水平丝杆滑台(42)上，所述的水平电机(41)能通过驱动竖直滑块(33)在水平丝杆滑台(42)上滑动，从而使整个水平伸缩机构(4)相对竖直升降机构(3)横向移动，所述的水平丝杆滑台(42)另一端与图像数据采集机构(5)的转动电机(51)固定连接，所述的图像数据采集机构(5)包括转动电机(51)、线光源(52)以及双目相机(53)，所述的转动电机(51)与线光源(52)以及双目相机(53)连接，转动电机(51)能带动双目相机(53与线光源(52)转动，使双目相机(53)以转动电机(51)为轴，360°转动扫描，所述的线光源(52)为双目相机(53)的提供光源，控制机构(2)还与竖直电机(31)、水平电机(41)、转动电机(51)、转动电机(51)连接，并控制上述电机运作，所述的双目相机(53)与控制机构(2)连接，并能将采集到的图像数据发送至控制机构(2)，具体的飞机整体油箱密封胶漏涂在线检测方法包括以下步骤：步骤一、在执行实际测量任务前，根据飞机整体油箱及硬件系统模型来预先规划飞机整体油箱图像数据采集路径，覆盖整体油箱内部结构；

步骤二、在执行实际测量任务时，预先在整体油箱口盖位置附近固定一个工装标识点作为整体油箱坐标系下的原点；移动平台(1)驱动飞机整体油箱密封胶漏涂在线检测装置移动到整体油箱口盖附近，通过调整竖直升降机构(3)将图像数据采集机构(5)调整到整体油箱口盖中心点的高度，然后通过调整移动平台(1)位置来将口盖周围的工装标识点与移动平台上的标志点工装(34)对齐，即完成初始定位工作，水平伸缩机构(4)运作，将图像数据采集机构(5)伸入至整体油箱内部；

步骤三、在实时数据获取阶段，控制转动电机(51)匀速旋转360°，使得双目相机(53)获取当前视角下的整体油箱内部数据；控制水平伸缩机构(4)运作，再将图像数据采集机构(5)往整体油箱深处推进一段距离，然后停止运作，转动电机(51)再次匀速旋转360°，使得双目相机(53)再一次获取当前视角下的整体油箱内部数据；如此重复，直至双目相机(53)根据预先规划好的路径遍历整体油箱内部，从而获取整个整体油箱内部的图像数据；

步骤四、数据处理阶段：该阶段分为并列的两个线程：其中，

第一线程的步骤为：

1)准备阶段：将之前的实际工程中收集过的飞机整体油箱密封胶漏涂的图片数据，制作数据集；人工选取并标注部分飞机整体油箱密封胶漏涂的数据集，然后深度学习网络通过人工标注部分的图像特征生成相应的图像检测模板，根据此模板自动在剩余的大量原始图片中搜索相似的漏涂胶区域特征，并对其进行批量标注，然后进行深度学习网络训练及优化，深度学习网络包含多个卷积层用来自动提取漏涂胶区域的特征，同时包含数个全连接层用来将自动学习出来的漏涂胶区域特征映射到相应的标签；经过充分训练及调优后，深度学习网络的权重将会保存在工控机本地；

2）检测阶段：首先加载存储在工控机本地的深度学习网络的权重文件，以初始化深度学习网络节点权重；然后，一方面通过将双目相机(53)的实时视频接入到深度学习网络的输入端来进行检测作业；深度学习网络根据算法对双目相机(53)的实时视频中的漏涂胶区域进行标注，输出二维标注框数据，经人工筛查后，将该数据保存到工控机本地，以对原始采集到的数据集进行周期性更新，以此来不断提高深度学习的在线学习能力，提高其缺陷检测的准确性及鲁棒性；

第二线程的步骤为：双目相机(53)的实时视频数据被传入视觉里程计，视觉里程计对双目相机(53)的实时视频数据进行在线初始化，确定初始位置点；双目相机(53)测得的通过测量景深信息可以为视觉里程计提供绝对尺度下的轨迹和位姿信息；通过视觉里程计前端估计的轨迹和位姿信息，可以对当前视场下采集到的图像帧提供一个视场标签，即每一张双目相机(53)采集到的图片都会记录下一个相关的双目相机拍摄轨迹点和拍摄位姿，以便在高度相似及重复特征的环境下实现相关特征物的实时跟踪；通过双目相机轨迹和位姿信息，采用三角测距方法对整体油箱内部的关键特征进行局部稠密重建，之后重建部分相对于整体油箱的绝对坐标便可以确定，从而获得整体油箱内部三维全局坐标；

步骤五、将深度学习识别出的漏涂胶区域的二维标注框数据与视觉里程计得到的三维全局坐标做数据融合，得到标注框及漏涂胶部分在整体油箱坐标系下的全局坐标，完成飞机整体油箱密封胶漏涂的检测。