[发明专利]基于深度学习与模型仿真的相似零件识别系统、介质和方法

权利要求书

1.一种基于深度学习与模型仿真的相似零件识别方法，其特征在于，包括：

步骤1：利用Bullet物理引擎模拟刚体零件自由落体，获取待识别零件三维模型在虚拟空间中的静态位姿；

步骤2：利用OpenGL库模拟从不同视角、光线下观察的零件静态姿态，保存所有零件在不同视角下的仿真图像；

步骤3：利用仿真图像中零件与周围环境的颜色区分度，使用OpenCV库获取仿真图像中零件的最小包围盒坐标；

步骤4：利用仿真图像、零件名称与包围盒位置信息制作图像数据集，作为YOLO4算法的训练集并进行训练；

步骤5：按照一定的间隔角度抽样提取各个视角下的相似零件仿真图像作为算法测试集，并根据测试结果保存每件相似零件的最佳识别视角图像；

步骤6：现场采集待测零件图像，并将其输入训练好的YOLO4算法；

步骤7：如果识别结果的置信度大于预设值则输出识别结果；否则，计算当前图像与该类相似零件的最佳识别视角图像之间的仿射变换矩阵，将计算结果转换为旋转角度，通过上位机控制运动转台调整零件位姿，重复所述步骤6，输出识别结果。

2.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法，其特征在于，所述步骤1包括以下步骤：

步骤1.1：导入待识别零件的三维模型并设置初始高度h₀；

步骤1.2：利用Bullet库中的函数设置虚拟空间中包括重力、弹性、刚体属性的参数；

步骤1.3：控制零件模型模拟自由落体，静止后判断该位姿是否为零件检测时常规的摆放姿态，如果不符合则重新设置初始高度重复上述步骤；

步骤1.4：重复上述操作，直到获取所有零件的静态位姿M_i，其中i＝1、2、…、m表示所有零件的序列。

3.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法，其特征在于，所述步骤2包括以下步骤：

步骤2.1：导入步骤1中获取的零件静态位姿；

步骤2.2：使用OpenGL库模拟零件识别现场光照，并设置虚拟相机视角；

步骤2.3：每隔1度绕模型空间内虚拟Z轴旋转零件静态位姿，并保存此时虚拟相机视角下的零件仿真图像P_ij，i＝1、2、…、m，j＝1、2、…、n，其中，i表示零件序列，j表示每件零件生成的仿真图像序列；

步骤2.4：重复上述操作，直到获取所有零件的仿真图像。

4.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1：利用零件三维模型颜色与背景颜色的区分，将仿真图像二值化，并提取出二值化后图像的边缘特征；

步骤3.2：利用OpenCV库求解步骤3.1操作后仿真图像中零件的最小包围盒，并返回包围盒左上角像素坐标(X_ijt，Y_ijt)与右下角的像素坐标(X_ijd，Y_ijd)，i＝1、2、…、m，j＝1、2、…、n，其中，i表示零件序列，j表示每件零件生成的仿真图像序列。

5.根据权利要求1所述的一种基于深度学习与模型仿真的相似零件识别方法，其特征在于，所述步骤4包括以下步骤：

步骤4.1：使用VOC数据集格式，生成的仿真图像放入JPEGImages文件夹；

步骤4.2：随机分配训练集、测试集与验证集目录，生成ImageSets文件夹；

步骤4.3：根据仿真图像信息、零件名称与包围盒位置信息，自动生成XML文档，放入Annotations文件夹；

步骤4.4：根据相应的XML文档生成labels文档信息；

步骤4.5：循环上述步骤，直到收集完所有的训练集信息；

步骤4.6：带入YOLO4算法进行网络训练。