[发明专利]一种基于稀疏时间分段网络的视频动作识别方法

说明书

本发明公开了一种基于稀疏时间分段网络的视频动作识别方法，包括：从每个训练视频中提取信息，对时间分段网络进行第一次训练、优化；在第一次优化后的网络加入稀疏项，进行第二次训练和优化；对第二次优化后的网络进行裁剪和尺寸调整；对尺寸调整后的网络进行第三次训练优化，直至识别精度或者稀疏度达到期望；从待识别视频中提取信息，将提取的信息输入至第三次优化后的网络，将时间分段网络的输出融合后得到动作识别结果。本发明通过时间分段网络获取更长段视频的信息，同时双流卷积网络结构能更充分地利用视频信息，使动作识别精度大幅提高；结构化稀疏方法能成组地稀疏卷积层的权重，网络裁剪进一步精简模型，降低存储空间。

技术领域

本发明属于图像处理领域，更具体地，涉及基于稀疏时间分段网络的视频动作识别方法。

背景技术

视频动作识别是通过对输入的视频进行数据处理，然后设计算法分析视频中的人体行为，识别出人体动作。2014年Simonyan等人提出了一种基于双流卷积网络模型的视频动作识别方法，该模型由两个神经网络组成，第一个为空间神经网络，输入数据为传统的单个RGB图像，第二个为时间神经网络，输入数据为与第一个网络RGB图像对应的光流图，光流图是通过两张相邻时刻的RGB图像计算得到。通过计算两张图之间像素点的变化，可以得到一张含有变化信息的光流图，因此光流图可以用来记录时间信息，从而被用于时间神经网络，通过两个网络可同时得到时间与空间信息，最后将两者融合并做出最终预测，从而可以更准确地对RGB图像进行识别。

后来的人们对该动作识别方法的不同方向作出改进：1.Simonyan等人提出的方法中融合是在最后的输出层，Feichtenhofer等人提出一种在两个网络的处理过程中就进行融合的动作识别方法，经验证识别准确率更高；2.Simonyan等人提出的方法仅限于某张图片及其对应的光流图，Wang limin等人提出了一种基于时间分段网络(TemporalSegmentNetwork,TSN)的模型训练方法，在此方法中，训练网络时的输入不再是单个的RGB图片及其对应的光流图，而是将整个视频切分成帧，设一共有n帧，即n张RGB图片，那么将整个视频分成3段，每段含n/3张图片，从每段中提取一张图片，然后将3段的提取内容结合在一起，再输入到网络中训练模型。由于是从整体的视频帧里提取数据，因此特征会带有全局性，能更好地用于动作识别；3.Simonyan等人提出的方法仅限于某张图片及其对应的光流图，可能错过复杂动作组合中真正的动作，吴昊宣等人提出了一种能够提取不同粒度的RGB信息和光流图信息的视频动作识别方法，对于同一段视频，可以提取到更多的视频信息，具有多层次识别的能力，极大提高识别准确率。

上述识别方法均未考虑下述问题：越来越高的识别率的是以越来越深的卷积神经网络为代价的。然而，网络的加深不仅仅增加了网络模型的尺寸，这样会占据更多的存储空间，更多的网络层数会使卷积操作的次数呈指数的速度增长，占用大量的计算资源。这样会降低运行速度。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有技术存储空间大、识别精度低、识别速度慢的技术问题。

为解决上述问题，本发明提供一种基于稀疏时间分段网络的视频动作识别方法，该方法包括以下步骤：

S1.构建时间卷积神经网络和空间卷积神经网络；

S2.准备训练视频集合，从每个训练视频中提取信息，对时间卷积神经网络和空间卷积神经网络进行第一次训练和第一次优化，使得损失函数最小；

S3.在第一次优化后的时间神经网络和空间神经网络的损失函数中加入稀疏项；

S4.对加入稀疏项的时间卷积神经网络和空间卷积神经网络进行第二次训练和第二次优化，使得加入稀疏项的损失函数最小；

S5.对第二次优化后的时间卷积神经网络和空间卷积神经网络进行裁剪和尺寸调整；