[发明专利]一种基于深度学习的工序检测装置及其工序检测方法

说明书

本发明属于基于深度学习的工序检测技术领域，特别涉及一种基于深度学习的工序检测装置及其工序检测方法。本发明包括离线工序检测模型训练模块和在线工序检测模块，所述离线工序检测模型训练模块用于获取工序中每一个步骤的产品图像信息，并对所述产品图像信息进行分析训练，得到工序对应的神经网络模型，并将所述神经网络模型存储至模型库，在线工序检测模块用于接收操作人员从模型库中选择的神经网络模型，分析并识别出工序类型，并将工序类型反馈至操作人员。本发明的成本低廉、兼容性好、工序检测准确，而且能够对生产物料进行实时追踪，记录工件的坐标，数量以及计算装配时间，记录工件装配顺序。

技术领域

本发明属于基于深度学习的工序检测技术领域，特别涉及一种基于深度学习的工序检测装置及其工序检测方法。

背景技术

由于制造类企业近年来的生产成本的急剧上升，其中大部分来自于劳动成本的上升，许多制造类企业，特别是劳动密集性企业，不仅面临着工人工资的大幅上升，而且面临着工人难招，离职率高，而且面临工人难以管理，生产效率和产品质量难以保证的困境。

现有技术中使用亮灯分拣系统来监管生产效率和提升品质，但是由于亮灯分拣系统需要设计专门的电路板，并配置主机，硬件造价成本较高；由于制造类企业的生产线上的物料种类差别很大，型号复杂，对于工位区域内有些动作不在亮灯的信号采集区域，就无法采集数据。因此亟需提供一种成本低廉、兼容性好、工序检测准确的基于深度学习的工序检测装置。

发明内容

本发明为了克服上述现有技术的不足，提供了一种基于深度学习的工序检测装置，本发明成本低廉、兼容性好、工序检测准确。

为实现上述目的，本发明采用了以下技术措施：

一种基于深度学习的工序检测装置包括离线工序检测模型训练模块和在线工序检测模块，其中，

离线工序检测模型训练模块，用于获取工序中每一个步骤的产品图像信息，并对所述产品图像信息进行分析训练，得到工序对应的神经网络模型，并将所述神经网络模型存储至模型库；

在线工序检测模块，用于接收操作人员从模型库中选择的神经网络模型，分析并识别出工序类型，并将工序类型反馈至操作人员。

优选的，所述离线工序检测模型训练模块包括背景图像获取单元、第一样本生成单元、分割模型训练单元、工件图像获取单元、工件分割单元、第二样本生成单元、训练目标检测模型单元，

背景图像获取单元，用于分别获取不同环境下的多个颜色的背景图像，并将所述背景图像发送至第一样本生成单元；

第一样本生成单元，用于获取不带有背景图像的工件图像，并对不带有背景图像的工件图像进行图像处理操作，得到图像处理后的工件图像，将所述图像处理后的工件图像贴到背景图像的任意位置，得到第一样本图像，对第一样本图像进行二值化处理，得到第一标签图像；

分割模型训练单元，用于接收来自第一样本生成单元的第一样本图像和第一标签图像，利用第一样本图像和第一标签图像训练基于深度学习的图像分割模型，输出多个颜色的背景图像的分割模型；

工件图像获取单元，用于获取不同环境下的工件以及与工件颜色反差较大的背景相结合的图像，并将结合后的图像发送至工件分割单元；

工件分割单元，用于接收来自分割模型训练单元的多个颜色的背景图像的分割模型，以及来自工件图像获取单元的结合后的图像，多个颜色的背景图像的分割模型分割结合后的图像，得到分割后的工件图像；

第二样本生成单元，用于接收来自工件分割单元的分割后的工件图像，并将分割后的工件图像进行图像处理操作，得到第二样本图像，对第二样本图像进行二值化处理，得到第二标签图像；