[发明专利]一种动作识别模型的训练及动作识别方法与相关装置

说明书

本发明实施例提供了一种动作识别模型的训练及动作识别方法与相关装置，该方法包括：接收视频数据，视频数据中具有多帧原始图像数据，从原始图像数据中进行采样，获得目标图像数据，根据目标图像数据在全局的特征识别在视频数据中出现的动作，获得全局动作，根据目标图像数据在局部的特征识别在视频数据中出现的动作，获得局部动作，将全局动作与局部动作融合为在视频数据中出现的目标动作，通过使用局部动作识别分支和全局动作识别分支分别进行视频数据进行动作建模和识别动作，避免只关注局部动作信息或全局动作信息的缺陷，提高了识别动作的灵活性，通过融合局部动作和全局动作预测视频数据的动作，提高了识别各种不同视频数据的精确度。

技术领域

本发明实施例涉及计算机视觉的技术领域，尤其涉及一种动作识别模型的训练及动作识别方法与相关装置。

背景技术

随着短视频等视频应用的快速发展，用户可以随时随地制作视频数据并上传至视频平台，使得互联网上存在着海量的视频数据。由于互联网具有公开性和广泛传播性，所以各大视频平台在视频数据公开之前，会对这些视频数据进行内容审核、实施有效的监管。

动作识别是内容审核的其中一部分，用于过滤涉及暴力等视频数据。

传统对视频数据识别动作的方法根据于人工设计的特征提取算子，其提取到的特征很难适应视频数据的内容多样性，因此，现有的视频动作识别方法主要使用基于深度学习的方法。

但是，基于深度学习的方法一般较为单一，灵活性较差，导致动作识别的精度较低。

发明内容

本发明实施例提出了一种动作识别模型的训练及动作识别方法与相关装置，以解决基于深度学习的方法对视频数据识别动作精度较低的问题。

第一方面，本发明实施例提供了一种动作识别方法，包括：

接收视频数据，所述视频数据中具有多帧原始图像数据；

从所述原始图像数据中进行采样，获得目标图像数据；

根据所述目标图像数据在全局的特征识别在所述视频数据中出现的动作，获得全局动作；

根据所述目标图像数据在局部的特征识别在所述视频数据中出现的动作，获得局部动作；

将所述全局动作与所述局部动作融合为在所述视频数据中出现的目标动作。

第二方面，本发明实施例还提供了一种动作识别模型的训练方法，包括：

确定动作识别模型，所述动作识别模型包括采样网络、全局动作识别网络、局部动作识别网络；所述采样网络用于从视频数据的多帧原始图像数据中进行采样，获得目标图像数据，所述全局动作识别网络用于根据所述目标图像数据在全局的特征识别在所述视频数据中出现的动作，获得全局动作，所述局部动作识别网络用于根据所述目标图像数据在局部的特征识别在所述视频数据中出现的动作，获得局部动作，所述全局动作与所述局部动作用于融合为在所述视频数据中出现的目标动作；

计算所述全局动作识别网络在识别所述全局动作时的全局损失值；

计算所述局部动作识别网络在识别所述局部动作时的局部损失值；

根据所述全局损失值与所述局部损失值更新所述采样网络、所述全局动作识别网络与所述局部动作识别网络。

第三方面，本发明实施例还提供了一种动作识别装置，包括：

视频数据接收模块，用于接收视频数据，所述视频数据中具有多帧原始图像数据；

采样模块，用于从所述原始图像数据中进行采样，获得目标图像数据；

全局动作识别模块，用于根据所述目标图像数据在全局的特征识别在所述视频数据中出现的动作，获得全局动作；