[发明专利]一种三七异物视觉实时检测分拣系统及分拣方法

权利要求书

1.一种三七异物视觉实时检测分拣方法，其特征在于：所述方法的具体步骤如下：

Step1、构建三七异物图像数据集；

Step2、搭建深度学习网络模型，并采用图像数据集中的训练集训练模型，获得权重参数；

Step3、输入图像数据集中的验证集利用深度学习网络框架TensorFlow对所有权重参数进行性能评估，筛选得到最优权重参数；并利用最优权重参数生成冻结模型；

Step4、开启工业相机（16）并设置初始参数；

Step5、红外传感器感应到物体通过，触发工业相机（16）采集三七图像，控制器对接收的工业相机（16）传来的三七图像进行预处理，调用冻结模型对预处理过的三七图像进行异物实时检测，根据目标实时检测的结果，判断是否存在异物，如果存在异物，则驱动机械抓手（15）进行抓取实现分拣；

所述Step2具体如下：

Step2.1、利用Faster-Rcnn检测算法、残差网络和跨阶段局部网络构建深度学习网络模型；所述残差网络和跨阶段局部网络构成深度学习模型网络模型的主干网络；

Step2.2、正式训练之前，修改配置文件的超参数，其中配置文件的超参数主要包括学习率、抽取图片数、迭代次数、权重衰减系数，其余超参数为默认值；

Step2.3、调用训练集和配置文件在深度学习网络框架TensorFlow中对深度学习网络模型进行训练；根据配置文件的超参数，依次随机抽取训练集中的多张图片放入深度模型网络模型中进行训练，对模型权重参数进行更新，达到设定迭代次数权重参数更新结束生成最后的权重参数。

2.根据权利要求1所述的三七异物视觉实时检测分拣方法，其特征在于：所述Step1具体如下：

Step1.1、将收集的所有含有异物的三七图像随机分类成训练集图像和验证集图像；

Step1.2、利用LabelImg标注软件对训练集图像和验证集图像的锚框异物进行标注；其中，标注包括：目标信息中心位置的横、纵坐标，边界框的长、宽大小和异物类别；

Step1.3、将标注完的所有三七异物标注信息统一进行类型转换；

Step1.4、将标注转换后的结果分别放入对应的训练集图像文件夹和验证集图像文件夹中，共同构成由训练集和验证集组成的三七异物图像数据集。

3.根据权利要求1所述的三七异物视觉实时检测分拣方法，其特征在于：所述Step3具体如下：

Step3.1、输入验证集利用深度学习网络框架TensorFlow对所有权重参数进行性能评估，筛选得到最优权重参数；

Step3.2、利用Python将最优权重参数生成冻结模型。

4.根据权利要求1所述的三七异物视觉实时检测分拣方法，其特征在于：所述Step5具体如下：

Step5.1、生产线上的三七经过振动筛选机构（1）初筛到达传送带（22）；

Step5.2、传送带（22）上的三七触发红外传感器，红外传感器传输信号至控制器，控制器根据设置的延时时间驱动工业相机（16）对待拍摄区域进行拍摄以采集待分拣三七的图像信息；

Step5.3、控制器对工业相机（16）实时抓取的三七图像进行双线性插值、锐化处理；

Step5.4、调用冻结模型对预处理过的三七图像的进行异物实时检测，根据目标实时检测的结果，判断是否存在异物：

若不存在异物，控制器控制振动筛选机构（1）、传送带（22）和工业相机（16）继续工作，执行Step5.1；

若存在异物，控制器控制筛选机构（1）、传送带（22）和工业相机（16）停止工作；实时检测会生成每个异物的边界框，根据边界框的数量和坐标位置信息得到当前图像内所有三七表面异物的数量和实时坐标位置；控制器根据异物的数量和实时坐标位置驱动纵向线性模组（12）、横向线性模组（13）、竖向线性模组（14）带动机械抓手（15）逐个抓取表面含有异物的三七，直至所有表面含有异物的三七抓取完成为止；机械抓手（15）复位，等待触发下一次抓取命令。