[发明专利]一种面向智慧工厂的视频动作识别方法及系统

说明书

本发明涉及深度学习动作识别技术领域，具体是一种面向智慧工厂的视频动作识别方法及系统，该识别方法具体包括如下步骤：S101、工厂视频数据片段生成步骤S102、工厂工人作业动作数据集生成步骤；S103、工厂作业目标检测数据集生成步骤；S104、工厂工人动作识别模型建模方法步骤；S105、工厂工人位置信息编码网络训练步骤；S106、工厂工人行为识别算法的搭建；S107、行为识别输入步骤；S108、行为识别输出步骤；具体系统包括：模型训练程序、标注文件生成程序、模型训练电子设备、处理计算中心、服务端、视频监控终端；相对于传统动作识别方法通常只采用RGB特征对视频进行表示，本发明在获取视频特征时，将会大大排除其余信息影响，从而提高工厂工人动作识别的效果。

技术领域

本发明涉及深度学习动作识别技术领域，具体是一种面向智慧工厂的视频动作识别方法及系统。

背景技术

工厂工人动作识别的工作主要集中在对与工人动作的定义以及数据集的制作、动作识别模型的建模。目前主流的方法如下：一、采用图像识别方法，输入一张图片识别工人某一瞬间的状态，以此判断工人的动作。二、采用视频分类方法，将一段帧序列输入网络识别动作。三、采用传感器抽取与动作相关的信息，再结合深度学习方法判断。

现有技术存在的缺点在于：(1)有很多动作是无法根据一瞬间的状态来进行判断的，还必须结合时序关系，所以基于图像识别方法的动作识别方法无法处理这种物体。(2)对于动作的识别很大程度上依赖于对场景、运动相关物品的识别，而不是对运动本身识别。因此当无法从场景和相关物品本身获得对动作识别有用的信息时，识别的结果较差。(3)目前的深度学习方法对时序信息建模的水平还不够好，无法对不同的时序关系进行准确的建模。(4)目前，动作识别的研究大多采用有监督学习的方法对动作进行检测，可以再数据集上取得较高的准确率和召回率。然而，受限于标注视频数据需要的成本，不能对现实场景中的海量的动态行为进行覆盖，从而使实际落地时效果不佳(5)此外，由于领域的特殊性，目前尚未有开放统一的标注数据集，严重制约着依赖训练数据集的基于深度学习模型方法的识别效果。

发明内容

为了解决上述问题，本发明提出一种面向智慧工厂的视频动作识别方法及系统。

一种面向智慧工厂的视频动作识别方法，具体包括如下步骤：

S101、工厂视频数据片段生成步骤：利用图像预处理技术对工厂工人作业的视频进行处理和加工，将所有原始录像转换为可利用的工厂工人作业数据片段；

S102、工厂工人作业动作数据集生成步骤：将工厂工人作业数据片段打好标签进行归类，将工厂工人作业数据片段制作为可以供动作识别模型学习的数据；

S103、工厂作业目标检测数据集生成步骤：将工人作业视频输出成帧，对图片进行采样，对人、工作台、作业工件类目标进行选框标注。

S104、工厂工人动作识别模型建模方法步骤：将工厂工人作业动作数据集数据集数据通过帧采样，裁切和数据增强后，转化为模型可接受的标准数据序列输入适用与视频理解的3D-ResNet深度神经网络进行模型的训练；

S105、工厂工人位置信息编码网络训练步骤：将工厂作业目标检测数据集经过缩放、归一化类预处理，以及翻转、随机位置、mosaic类数据增强方法后输入目标检测算法进行训练，以使其能提供工人、操作台以及被操作工件的位置信息，然后将位置信息嵌入一个多通道矩阵输入位置编码支路训练；

S106、工厂工人行为识别算法的搭建：将训练好的动作识别模型以及位置信息编码模型尾部输出的深度特征拼接起来，使动作识别网络和位置信息编码网络分别形成动作识别支路和位置信息编码支路，组成包含位置信息编码的反应工人行为的深度特征，再输入一层全连接层并且冻结之前的网络参数进行训练，得到完整的工人工人行为识别模型；

S107、行为识别输入步骤：将需要识别工人行为的视频输入工厂工人行为识别模型；