[发明专利]一种基于深度学习与多目标分布排序的航空插头孔位识别方法

说明书

本发明公开了一种基于深度学习与多目标分布排序的航空插头孔位识别方法，包括以下步骤：启动相机并初始化，捕获航空插头图像，训练插头定位网络模型在工业场景图像中定位航空插头目标，判断候选目标是否满足尺寸约束条件，从图像中裁剪插头孔位区域，训练孔位识别网络模型识别插头孔位区域的孔位与防错销钉阵列，根据多目标排序原理编号航空插头孔位阵列，判定航空插头孔位安装状态，匹配数据库并输出识别结果。该基于深度学习与多目标分布排序的航空插头孔位识别方法通过拍摄航空插头图像，视觉识别航空插头与插头孔位，对插头孔位进行排序编号，判定航空插头的安装结果，节省了检验航空插头孔位安装状态的人力成本且效率高。

技术领域

本发明涉及飞机制造智能装配领域，尤其涉及一种基于深度学习与多目标分布排序的航空插头孔位识别方法。

背景技术

在飞机制造中，飞机装配成本和装配工作量约占全机成本与工作量的一半，飞机装配中导线插头装配占有较大比重。航空插头主要用来连接不同设备之间的电气通信，飞机上航空插头种类和数量繁多，每一种航空插头有其独立的安装状态结果，导线从航空插头背面安装至航空插头的孔位内后，需要对航空插头的安装结果进行校验，该过程严重依赖人工，工人需要区分航空插头正面已安装导线的孔位和未安装导线的孔位，搜索该插头在数据库中存储的安装状态结果，通过比对安装结果是否保持一致进而判断该插头中是否存在漏装导线的孔位，或者错装导线的孔位。该过程繁琐复杂、效率低下，难以适应飞机批量的快速生产需求。

发明内容

本发明提供了一种基于深度学习与多目标分布排序的航空插头孔位识别方法。

为了实现上述目的，本发明采用了如下工作流程：

S1、启动相机并初始化，设置相机的对焦模式，调整相机闪光灯的亮度。

S2、相机对焦完成后，在现场工业场景下捕获航空插头正面图像。

S3、将捕获的航空插头图像送入训练完成的插头定位网络模型，输出航空插头的类别及在图像坐标系下的插头坐标，作为航空插头候选目标。

S4、判断航空插头候选目标是否满足尺寸约束条件，若不满足，重复步骤S2与S3，重新捕获航空插头图像。

S5、若航空插头候选目标满足所述S4中的尺寸约束条件，根据所述S3中插头定位网络模型输出的插头坐标从图像中裁剪插头孔位区域。

S6、将插头孔位区域送入训练完成的孔位识别网络模型，输出插头孔位区域中的插头孔位坐标与防错销钉坐标，完成插头孔位区域中的插头孔位与防错销钉的类别识别与位置检测。

S7、根据插头孔位坐标与防错销钉坐标，对插头孔位和防错销钉进行阵列多目标排序，对插头孔位进行编号。

S8、判定每个插头孔位的安装状态，判断该插头孔位中是否安装导线，进而得知整个航空插头的安装结果。

S9、将航空插头的安装结果匹配数据库中的安装结果，输出航空插头安装检验结果，判别航空插头安装结果是否与数据库保持一致。

优选地，所述S3步骤中的插头定位网络模型训练方法包括：

S31、在现场场景中采集大量不同种类的航空插头正面图像，标注每张图像中的航空插头类别与在图像坐标系下的插头坐标，制作航空插头图像数据集D1。

S32、对航空插头图像数据集D1中的每张图像进行图像增强操作，得到增强航空插头图像数据集D2。

S33、构建插头定位深度神经网络，建立插头定位网络模型的训练目标，回归航空插头图像中的插头坐标，分类图像中的航空插头类型。

S34、使用航空插头图像数据集D1和增强航空插头图像数据集D2训练插头定位神经网络，拟合网络模型的参数。

S35、训练完成后，保存插头定位网络模型。