[发明专利]一种基于深度学习的监测装配操作的方法和装置

权利要求书

1.一种基于深度学习的监测装配操作的方法，其特征在于，包括以下步骤：

建立装配工具样本集：实验人员使用不同的装配工具进行装配动作，拍摄实验人员进行装配动作的影像，收集影像中不同装配工具的图像，并对各图像进行标注，生成包含图像中工具类别信息和位置信息的图像标签，收集所有图像标签作为装配工具样本集；

训练装配工具监测模型：将装配工具样本集送入目标检测深度学习网络模型中进行训练，生成装配工具监测模型；

实时监测：在装配现场安装摄像机实时拍摄装配工人进行装配的影像，并将影像送入装配工具监测模型中进行识别，识别影像中装配工人使用的装配工具；

装配动作次数监测：识别到影像中装配工人使用的装配工具后，将影像送入人体姿态识别网络模型中进行识别，识别装配工人人体关节运动信息，使用人体关节运动信息判断装配工人使用当前影像中的装配工具进行装配动作的次数；

错误预警：将装配工人操作装配工具的顺序以及使用各装配工具进行装配动作的次数与原定装配生产线的装配流程进行比对，根据比对结果向装配工人提示装配是否正确；

所述装配动作次数监测步骤具体为：

使用RGB相机在装配作业现场实时拍摄装配工人装配操作的RGB图像，利用装配工具监测模型实时监测拍摄到的图像，当检测到图像中出现一装配工具时，则判定此时装配工人即将开始使用该装配工具进行相应的装配动作；

在检测到装配工具后，立即将RGB图像输入到人体姿态识别网络模型中，获取RGB图像中的人体各关节点及关节点坐标信息；

根据进行装配动作的人体关节点的动作范围统计人体关节点坐标的上下限，根据人体关节点坐标的上下限对关节点坐标信息进行数据清洗，剔除不符合范围的关节点坐标信息；

使用进行数据清洗后的所有关节点坐标信息绘制出关节点坐标随时间变化的曲线，通过曲线中波峰波谷的交替变化判定装配动作的次数。

2.根据权利要求1所述的一种基于深度学习的监测装配操作的方法，其特征在于，所述建立装配工具样本集步骤具体为：

采用RGB摄像头对多位实验人员的装配动作进行拍摄，拍摄每位实验人员进行不同装配动作的影像，每个装配动作拍摄10秒，每秒提取10张图像；

利用图像标注软件对每张图像中的装配工具进行标注，生成包括装配工具坐标信息及装配工具类别信息的图像标签，若图像中没有工具信息则丢弃该图像；

对所有的图像标签进行数据集划分，划分为训练集、验证集和测试集。

3.根据权利要求2所述的一种基于深度学习的监测装配操作的方法，其特征在于，所述训练装配工具监测模型步骤具体为：

设置目标检测深度学习网络模型的超参数，将训练集、验证集中的图像输入到目标检测深度学习网络模型中进行训练，在训练过程中，根据验证集的结果不断优化网络权值；

训练时，根据训练过程中准确率曲线与损失曲线的变化情况，确定最优训练迭代次数并停止训练，保存训练好的网络权值；

选择不同的IoU阙值，对比在不同阙值下的准确率与召回率指标变化，确定最优IoU阙值；

利用保存训练好的网络权值并设定最优IoU阙值，在测试集上进行测试，若测试结果满足期望且没有出现过拟合现象，则完成训练装配工具监测模型的训练。

4.根据权利要求1所述的一种基于深度学习的监测装配操作的方法，其特征在于：对所述进行数据清洗后的所有关节点坐标信息进行减均值处理。