[发明专利]一种基于深度学习的工序检测装置及其工序检测方法

权利要求书

1.一种基于深度学习的工序检测装置，其特征在于：包括离线工序检测模型训练模块(10)和在线工序检测模块(20)，其中，

离线工序检测模型训练模块(10)，用于获取工序中每一个步骤的产品图像信息，并对所述产品图像信息进行分析训练，得到工序对应的神经网络模型，并将所述神经网络模型存储至模型库；

在线工序检测模块(20)，用于接收操作人员从模型库中选择的神经网络模型，分析并识别出工序类型，并将工序类型反馈至操作人员。

2.如权利要求1所述的一种基于深度学习的工序检测装置，其特征在于：所述离线工序检测模型训练模块(10)包括背景图像获取单元(11)、第一样本生成单元(12)、分割模型训练单元(13)、工件图像获取单元(14)、工件分割单元(15)、第二样本生成单元(16)、训练目标检测模型单元(17)，

背景图像获取单元(11)，用于分别获取不同环境下的多个颜色的背景图像，并将所述背景图像发送至第一样本生成单元(12)；

第一样本生成单元(12)，用于获取不带有背景图像的工件图像，并对不带有背景图像的工件图像进行图像处理操作，得到图像处理后的工件图像，将所述图像处理后的工件图像贴到背景图像的任意位置，得到第一样本图像，对第一样本图像进行二值化处理，得到第一标签图像；

分割模型训练单元(13)，用于接收来自第一样本生成单元(12)的第一样本图像和第一标签图像，利用第一样本图像和第一标签图像训练基于深度学习的图像分割模型，输出多个颜色的背景图像的分割模型；

工件图像获取单元(14)，用于获取不同环境下的工件以及与工件颜色反差较大的背景相结合的图像，并将结合后的图像发送至工件分割单元(15)；

工件分割单元(15)，用于接收来自分割模型训练单元(13)的多个颜色的背景图像的分割模型，以及来自工件图像获取单元(14)的结合后的图像，多个颜色的背景图像的分割模型分割结合后的图像，得到分割后的工件图像；

第二样本生成单元(16)，用于接收来自工件分割单元(15)的分割后的工件图像，并将分割后的工件图像进行图像处理操作，得到第二样本图像，对第二样本图像进行二值化处理，得到第二标签图像；

训练目标检测模型单元(17)，用于接收来自第二样本生成单元(16)的第二样本图像以及第二标签图像，利用第二样本图像和第二标签图像训练基于深度学习的目标检测模型，输出工序对应的神经网络模型。

3.如权利要求2所述的一种基于深度学习的工序检测装置，其特征在于：所述在线工序检测模块(20)包括图像提取单元(21)、预处理单元(22)、工件目标检测单元(23)、手部目标检测单元(24)、工序判断单元(25)以及计时显示单元(26)；

图像提取单元(21)，用于获取监控设备拍摄的视频图像，并将所述视频图像发送至预处理单元(22)；

预处理单元(22)，用于对视频图像进行预处理操作，并将预处理后的视频图像分别发送至工件目标检测单元(23)、手部目标检测单元(24)、计时显示单元(26)；

工件目标检测单元(23)，用于接收来自训练目标检测模型单元(17)的工序对应的神经网络模型以及预处理后的视频图像，得到预处理后的视频图像中的工件目标的坐标、大小以及类别；

手部目标检测单元(24)，用于接收预处理后的视频图像，利用基于深度学习的手部检测模型，得到预处理后的视频图像中的手部目标的坐标、大小；

工序判断单元(25)，用于接收预处理后的视频图像中的工件目标的坐标、大小、类别以及预处理后的视频图像中的手部目标的坐标、大小，判断视频图像中的工件目标的工序类型以及工件目标是否为人工正在操作的工件，并将判断结果发送至计时显示单元(26)；

计时显示单元(26)，用于更新各个工序的计时，在监控设备拍摄的视频图像中画出工件目标的位置、工序以及时间。