[发明专利]基于多损失双流卷积神经网络的人体动作识别方法

说明书

本发明公开了基于多损失双流卷积神经网络的人体动作识别方法，它属于动作识别技术领域，解决了传统的双流网络动作细节信息丢失和无法提取时空特征的问题。本发明是对时序分割网络的改进，由多损失空间网络和时间网络构成，从体系结构角度来看，多损失双流卷积神经网络由三个分支构成：动作识别、动作复原和差异惩罚。动作复原加入了复原损失，保留动作细节信息和平衡提取的动作特征信息。差异惩罚利用外观特征计算动作特征进行分类，从而得到有效的时空特征。多损失双流卷积神经网络以端到端的方式训练学习，并利用动作识别损失、复原损失和差异损失辅助动作识别模块提取丰富的视频表达，能够更好地提高动作识别的准确率。

技术领域

本发明涉及计算机视觉和模式识别领域，特别是涉及到基于多损失双流卷积神经网络的人体动作识别方法，属于动作识别领域。

背景技术

动作识别技术是对一段视频中的人的动作进行识别。随着互联网和数码设备的日益普及，视频的处理和分析尤其是视频动作识别在计算机视觉方向被广泛研究，它可以广泛应用于各个领域，例如，智能视频监控、人机交互和人类行为分析等等。由于卷积神经网络在图片分类任务中取得了巨大的成功，基于视频的动作识别技术可以被看作是一种分类任务，因此动作识别方法不再局限于传统的手工制作特征方法，而是基于卷积神经网络的动作识别方法。但是该研究方向仍然存在许多的挑战，例如，相机的移动、拍摄背景的影响和光线的变化等等都会对动作识别的准确度造成影响。

近年来，动作识别技术在视频领域的研究进展中主要集中于融合视频的静态和动态信息。由于卷积神经网络在计算机视觉任务中的有效性，自然的将其应用于动作识别中的空间特征提取网络中。然而，仅仅捕捉视频静态动作信息对复杂的动作识别任务是不充分的。所以光流作为一种互补的输入模态，在时间网络中捕捉视频的动态信息，表现出对动作识别任务的强大的有效性。Karen Simonyan等人提出的双流卷积网络，结合了空间网络和时间网络，成为了动作识别技术的主流之一，但它局限于单张图片和光流图的输入，并没有考虑到视频的时序问题。作为改进Limin Wang等人提出了时序分割网络，其基于长期时间结构建模的思想，利用了稀疏时间采样策略和基于视频级的监督方法进行动作识别，能够高效的学习整个动作视频。但是时序分割网络在识别相似的动作上也有一定的难度，并且在容易丢失动作的细节信息以及没有考虑到视频中的时空特征。因此本发明在时序分割网络的基础上进行了改进，引入了复原损失和差异损失能够辅助动作识别模块提取到时空特征以及保留动作细节信息。

发明内容

本发明的目的是为了解决传统的双流卷积神经网络存在的无法提取时空特征且缺乏动作细节而导致识别精度低的问题。

本发明为解决上述技术问题采取的技术方案是：

S1.将数据集中视频V平均分为K段S₁,S₂,…,S_K(K为经验值K＝3)，从每个子段中随机采样一帧图片和光流图作为多损失双流卷积神经网络的输入。

S2.构建多损失双流卷积神经网络架构。

S3.将步骤S1中采集的图片和光流图输入到多损失双流卷积神经网络中进行训练，使得损失函数最小。

S4.将测试样本中的图片和光流图输入到上述已训练完成的多损失双流卷积神经网络中进行测试，再进行双流融合，最后完成基于视频的人体动作识别。

具体地，构建多损失双流卷积神经网络包括以下内容：

多损失双流卷积神经网络是对时序分割网络的改进，其空间网络和时间网络的网络结构是相同的(输入模态不同，分别是图片和光流图)，多损失双流卷积神经网络的空间网络和时间网络的网络结构分为三个分支：动作识别、动作复原和差异惩罚。

(1)动作识别