[发明专利]一种基于时空关联神经网络的动作识别方法及其系统

说明书

本发明提供一种基于时空关联神经网络的动作识别方法，通过对海量已标注动作类别的视频数据进行训练得到时空关联神经网络。该网络是由三个部分(空间神经网络模块，相邻帧关联神经网络模块，关联模块)组成的动作识别模型。该发明能够有效的提取到视频动作的空间信息以及动作的时间信息，能够更好地实现视频动作时空信息的提取。设计的时空关联神经网络能够实现端到端的学习，在动作识别的准确率和速度上都有很好的表现。

技术领域

本发明涉及人工智能领域，更具体地，涉及一种基于时空关联神经网络的动作识别方法及其系统。

背景技术

早期的动作识别技术以人工设计特征的方法为主，效果一般。近年来随着深度学习方法在计算机视觉领域中的广泛应用，形成了以神经网络为基础的一系列的动作识别方法，取得了比较大的成功。2014年Smionyan等人提出了双流卷积神经网络，使用光流来代替视频中的时间信息取得了比较大的成功。2016年而Wang等设计了一种时间分段网络，该网络结构通过将视频帧分段，可以进行长时间的建模，能够比较好的获取长时间的动作信息。

虽然双流网络在动作识别中取得了一定的效果，但是该模型使用光流作为运动的时间信息的表征，具有几个问题。一方面光流能否代表运动中的时间信息有待商榷，另一方面光流的计算需要耗费大量的时间，对于监控等实时应用场景，光流无法使用，限制了该方法的时效性。因此该方法无法在实际应用上取得突破。

发明内容

本发明为克服上述现有技术所述的不能满足所有应用场所以及计算比较耗时缺陷，提供一种基于时空关联神经网络的动作识别方法及其系统。

本发明旨在至少在一定程度上解决上述技术问题。

为解决上述技术问题，本发明的技术方案如下：一种基于时空关联神经网络的动作识别方法，其步骤包括：

S1：构造与训练空间神经网络模块；

S2：构造与训练相邻帧关联神经网络模块，使用关联模块连接空间神经网络模块与相邻帧关联神经网络模块；

S3：训练由空间神经网络模块与相邻帧关联神经网络模块复合而成的时空关联神经网络系统；

S4：将待测视频输入到训练好的时空关联神经网络模块中进行动作识别。

本发明通过构造用关联模块来连接空间网络模块与相邻帧关联网模块的时空关联神经网络模块提取出到空间信息与时间信息，从而准确的对待测视频进行动作分类。

优选地，所述步骤S1的具体过程如下：

S1.1：将每个训练视频平均分为3段，每段随机选取一帧，用该三帧视频作为空间神经网络模块的输入，同时采用数据增强处理技术对三帧视频进行处理；

S1.2：搭建空间神经网络模块，使用预训练好的卷积网络模型对空间神经网络模块进行初始化；

S1.3：修改空间神经网络模块的全连接层的输出尺寸，使其与动作的类别数目保持一致；

S1.4：对于每一个视频，依次输入选取的三张视频帧，每个视频帧得到分类结果可以分别表示为Pre_i，其中i＝1，2，3；

S1.5：将三帧图像的分类结果取平均，作为最终该视频的表达，可以表示为：

S1.6：将视频的分类结果与给定的标签进行对比，使用随机梯度下降的方法对整个空间神经网络模块的参数进行更新，实现空间神经网络模块的训练；

S1.7：空间神经网络模块训练完成后，保留空间神经网络模块的参数，用于对时空关联神经网络系统的初始化。

优选地，所述步骤S2的具体过程如下：