[发明专利]一种基于深度学习的监测装配操作的方法和装置

说明书

本发明涉及一种基于深度学习的监测装配操作的方法和装置，所述监测装配动作的方法包括以下步骤步骤：建立装配工具样本集：拍摄实验人员进行装配动作的影像，收集影像中不同装配工具的图像，并对各图像进行标注，生成图像标签，收集所有图像标签作为样本集；训练装配工具监测模型：将装配工具样本集送入目标检测深度学习网络模型中进行训练，生成装配工具监测模型；实时监测：识别装配现场装配工人进行装配的影像，识别影像中装配工人使用的装配工具；装配动作次数监测：识别到影像中的装配工具后，将影像送入人体姿态识别网络模型中进行识别，识别人体关节运动信息，使用人体关节运动信息判断装配工人进行装配动作的次数。

技术领域

本发明涉及一种基于深度学习的监测装配操作的方法和装置，属于智能制造、装配监测技术领域。

背景技术

在大规模定制生产模式中，工厂常常需要充分利用现有资源重组装配生产线以生产不同产品，从而满足用户的个性化需求。而装配工人常常会难以适应这种多变的生产模式，从而导致遗忘关键操作步骤或操作程度不达标等现象，影响产品质量。

因此，对工人装配动作进行监测，可以防止装配工人遗忘关键操作步骤以及操作程度不达标等现象，避免产品质量问题的出现。以往工业领域都将监测重点放在了故障诊断、表面缺陷等检测上，这样不能及时的避免问题的发生，而对装配过程中工人的装配动作进行监测则可以及时发现问题并对装配工人进行提醒，从而降低产品不合格率及生产成本。因此，如何低成本高效率的对装配过程中工人的装配动作进行监测将是未来装配制造业的发展方向。

计算机视觉技术就是让计算机像人类一样，通过一定算法实现对图像或视频的分析理解。近年来，随着深度学习算法在计算机视觉领域的广泛应用，模式识别、目标检测、动作识别、人体姿态估等任务都获得了突破性进步。深度学习能够自适应学习特征，只需要设计合适的神经网络模型便可以进行端到端的训练，避免了传统机器学习中的特征工程，不再需要复杂的人工设计特征。因此，利用基于深度学习的计算机视觉技术进行装配动作监测可以有效避免产品质量问题。

发明内容

为了解决上述技术问题，本发明一种基于深度学习的监测装配操作的方法和装置，利用目标检测和姿态识别技术，实现对工人装配动作的识别与动作次数判断，以此实现产品装配过程的监测，提高智能化程度、减少运营成本并缩短生产周期。

本发明所采用的技术方案如下：

技术方案一：

一种基于深度学习的监测装配操作的方法，包括以下步骤：

建立装配工具样本集：实验人员使用不同的装配工具进行装配动作，拍摄实验人员进行装配动作的影像，收集影像中不同装配工具的图像，并对各图像进行标注，生成包含图像中工具类别信息和位置信息的图像标签，收集所有图像标签作为装配工具样本集；

训练装配工具监测模型：将装配工具样本集送入目标检测深度学习网络模型中进行训练，生成装配工具监测模型；

实时监测：在装配现场安装摄像机实时拍摄装配工人进行装配的影像，并将影像送入装配工具监测模型中进行识别，识别影像中装配工人使用的装配工具；

装配动作次数监测：识别到影像中装配工人使用的装配工具后，将影像送入人体姿态识别网络模型中进行识别，识别装配工人人体关节运动信息，使用人体关节运动信息判断装配工人使用当前影像中的装配工具进行装配动作的次数；

错误预警：将装配工人操作装配工具的顺序以及使用各装配工具进行装配动作的次数与原定装配生产线的装配流程进行比对，根据比对结果向装配工人提示装配是否正确。

进一步的，所述建立装配工具样本集步骤具体为：

采用RGB摄像头对多位实验人员的装配动作进行拍摄，拍摄每位实验人员进行不同装配动作的影像，每个装配动作拍摄10秒，每秒提取10张图像；