[发明专利]一种基于深度学习与多目标分布排序的航空插头孔位识别方法

权利要求书

1.一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，该方法包含：

S1、启动相机并初始化，设置相机的对焦模式，调整相机闪光灯的亮度；

S2、相机对焦完成后，在现场工业场景下捕获航空插头正面图像；

S3、将捕获的航空插头图像送入训练完成的插头定位网络模型，输出航空插头的类别及在图像坐标系下的插头坐标，作为航空插头候选目标；

S4、判断航空插头候选目标是否满足尺寸约束条件，若不满足，重复步骤S2与S3，重新捕获航空插头图像；

S5、若航空插头候选目标满足所述S4中的尺寸约束条件，根据所述S3中插头定位网络模型输出的插头坐标从图像中裁剪插头孔位区域；

S6、将插头孔位区域送入训练完成的孔位识别网络模型，输出插头孔位区域中的插头孔位坐标与防错销钉坐标，完成插头孔位区域中的插头孔位与防错销钉的类别识别与位置检测；

S7、根据插头孔位坐标与防错销钉坐标，通过阵列多目标排序方法对插头孔位和防错销钉进行排序，根据排序结果对插头孔位进行编号；

S8、判定每个插头孔位的安装状态，判断该插头孔位中是否安装导线，进而得知整个航空插头的安装结果；

S9、将航空插头的安装结果匹配数据库中的安装结果，输出航空插头安装检验结果，判别航空插头安装结果是否与数据库保持一致。

2.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，所述S3步骤中的插头定位网络模型训练方法包括：

S31、在现场场景中采集大量不同种类的航空插头正面图像，标注每张图像中的航空插头类别与在图像坐标系下的插头坐标，制作航空插头图像数据集D1；

S32、对航空插头图像数据集D1中的每张图像进行图像增强操作，得到增强航空插头图像数据集D2；

S33、构建插头定位深度神经网络，建立插头定位网络模型的训练目标，回归航空插头图像中的插头坐标，分类图像中的航空插头类型；

S34、使用航空插头图像数据集D1和增强航空插头图像数据集D2训练插头定位神经网络，拟合网络模型的参数；

S35、训练完成后，保存插头定位网络模型。

3.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于，所述S6步骤中的孔位识别网络模型训练方法包括：

S61、根据航空插头图像数据集D1中标注的插头坐标将每张图像中的航空插头裁剪下来作为新的图像，制作插头孔位区域数据集D3，标注插头孔位区域数据集D3中每张图像中的插头孔位坐标和防错销钉坐标，标注插头孔位的类别和防错销钉的类别；

S62、对插头孔位区域数据集D3中的每张图像进行图像增强操作，得到增强孔位区域数据集D4；

S63、构建孔位识别深度神经网络，建立孔位识别网络模型的训练目标，回归插头孔位区域图像中插头孔位坐标和防错销钉坐标，分类图像中的插头孔位和防错销钉的类型；

S64、使用插头孔位区域数据集D3和增强孔位区域数据集D4训练孔位识别神经网络，拟合网络模型的参数；

S65、训练完成后，保存孔位识别网络模型。

4.如权利要求2或权利要求3所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于：所述S32和S62中的图像增强操作包括图像白平衡、图像颜色变换、图像几何伸缩、图像旋转变换及图像随机噪声五种操作，所述S33中插头定位深度神经网络和S63中孔位识别深度神经网络包含特征提取网络、特征融合网络和输出网络，所述特征提取网络包含四层卷积层和池化层，所述特征融合网络包含三层上采样层和级联层，所述输出网络预测检测目标的类别和位置坐标，所述特征提取网络和所述特征融合网络之间连接有1×1的卷积过滤器，所述特征融合网络和所述输出网络之间连接有3×3的卷积过滤器。

5.如权利要求1所述的一种基于深度学习与多目标分布排序的航空插头孔位识别方法，其特征在于：所述S4步骤中的尺寸约束条件为所述S3中航空插头候选目标的长宽比在0.6-1.4，所述S3中航空插头候选目标的长度大于所述S3中航空插头图像长度的四分之一。