[发明专利]一种机械臂动作识别方法、系统、终端及存储介质

说明书

本发明提供一种机械臂动作识别方法、系统、终端及存储介质，包括：采集机械臂合法动作与非法动作视频，对视频进行灰度处理和降噪处理；通过二值化阈值处理判断机械臂动作是否静止；利用Conv3D进行模型训练，生成原级模型，并通过推理证明所述原级模型可用；利用OpenVINO套件对原始模型进行优化，并送入嵌入式设备中进行推理得到最优模型。本发明通过Conv3D模型训练，对取自在同一场景下机械臂不同动作的灰度视频进行卷积计算并使用全连接层来将不同动作进行分类，最终做出机械臂动作合法性判断。

技术领域

本发明属于动作识别或视频分类技术领域，具体涉及一种机械臂动作识别方法、系统、终端及存储介质 。

背景技术

在当今世界的产业发展，越来越多的企业以及工厂离不开工业自动化。在自动化以及智能制造普遍应用的背景下，因自动化设备（如机械臂、机器人、自动化流水线等）大多处于无人监管状态，而且如果人去监督管理或者操作，危险系数很大。同时工厂机械臂在运行时难免会因程序逻辑不严密或者电压不足或过高而引发机械臂动作异常，造成一系列不必要的损失和浪费，甚至可能损坏机械臂；如果附近有人员通过或者驻留，还有可能造成严重的安全事故。针对这种情况，可以使用人工智能深度学习里的计算机视觉进行机械臂动作合法性的判断，这样在机械臂本身具有保护装置的情形下，再通过外置摄像头拍摄机械臂通过嵌入式网关视觉推理来处理进行机械臂合法动作的判断，嵌入式网关根据情形和需要将指令自动反馈给机械臂，对机械臂进行父级控制，严重时会执行紧急措施例如断电等，形成二次保障，进一步保证了机械臂的正常运行，避免更多不必要的损失和麻烦。同时减轻人力，保障从业人员安全。

目前，动作识别方案尚未成熟，大多还处于实验阶段，但是在智能汽车行业已有部分应用，例如部分智能汽车品牌加入路上行人姿态识别，还有当今应用较多的手势识别等。其中有光流法动作识别、二值化阈值模型动作识别等，结合不同应用场景和预算都有不同的动作识别方案，比如对于色彩需求较高的会采用三通道RGB方案进行动作识别，如果对色彩要求不高但是动作场景范围较大会采用单通道灰度图像足以满足需求，如果背景静态场景复杂但是局部动作表现显著可以采用二值化阈值模型动作识别。方法多种多样，应用时非常灵活。此外还有许多研究者探索出更多有效的动作识别方案例如双流神经网络，长短时记忆网络(LSTM)，对抗神经网络(GAN)框架等。

发明内容

针对现有技术的上述不足，本发明提供一种机械臂动作识别方法、系统、终端及存储介质 ，以解决上述技术问题。

第一方面，本发明提供一种机械臂动作识别方法，包括：

采集机械臂合法动作与非法动作视频，对视频进行灰度处理和降噪处理；

通过二值化阈值处理判断机械臂动作是否静止；

利用Conv3D进行模型训练，生成原级模型，并通过推理证明所述原级模型可用；

利用OpenVINO套件对原始模型进行优化，并送入嵌入式设备中进行推理得到最优模型。

进一步的，所述对视频进行灰度处理和降噪处理，包括：

并将视频中的彩色图像转化为灰度图像；

通过高斯滤波算法将图像信息进行降噪处理。

进一步的，所述通过二值化阈值处理判断机械臂动作是否静止包括：

通过计算当前帧和上一帧的帧差对采集的视频进行二值化阈值处理；

将处理后的视频数据压缩一维向量且统计值为255的像素数量；

通过静止时间是否达到预设阈值来判断当前帧是否为静止动作。

进一步的，所述利用Conv3D进行模型训练，生成原级模型，包括：

在第一层Conv3D中在卷积核大小为4*4*4的情况下得到（None,10,224,224,8）,共520个参数；

再加入一层MaxPooling3D进行池化，得到（None,3,74,74,8），共0个参数；