[发明专利]一种非局部双流卷积神经网络模型的人体行为识别方法

说明书

本发明涉及一种非局部双流卷积神经网络模型的人体行为识别方法，在双流卷积神经网络模型的基础上改进了两支分流网络，在空间流CNN和时间流CNN中加入非局部特征提取模块，用以提取到更全面更清晰的特征图，一定程度上加深网络的深度，有效缓解网络过拟合，还能够提取样本的非局部特征，对输入的特征图进行去躁处理，解决行为视频中背景环境复杂，人体行为多样且动作相似性大等原因导致识别准确率不高的问题。本发明还在损失层采用A‑softmax损失函数进行训练，在softmax函数的基础上对分类角度添加了m倍数的限制，还对全连接层的权值W和偏置b做出限制，使样本的类间距离更大、类内距离更小，从而得到更好的识别精度，最终获得鉴别能力更强的深度学习模型。

技术领域

本发明涉及计算机视觉图像与视频处理技术，特别涉及一种非局部双流卷积神经网络模型的人体行为识别方法。

背景技术

人体行为识别的研究就是赋予计算机以类似于人类的视觉的能力，使计算机像人类一样通过视觉系统获取信息。针对视频中人的动作进行分析处理，通过自动跟踪人体行为的全局信息和局部信息，对人体行为进行分类与理解表示。由于行为视频中背景环境复杂，人体行为多样且动作相似性大等原因的影响，会出现把相似的两类行为动作归为一类的现象，导致人体行为识别的准确率不高。因此人体行为识别仍是计算机视觉中的一项具有挑战性的任务。目前学术界对于视频行为识别的研究主要分为两个方向，传统的基于机器学习的行为识别方法和基于深度学习的行为识别方法，传统方法提取的是手工特征，存在很大的误差，为了提高行为识别的准确性以卷积神经网络(CNN)为代表深度学习的方法应运而生，成为近年来的热门研究方向。深度学习方法由网络自动学习特征，展现出其强大的特征提取能力，能够针对任务学习到自适应、区分度高的特征。深度学习在人物动作识别方面已取得较好的成效。

发明内容

为解决行为视频中背景环境复杂，人体行为多样且动作相似性大等原因导致识别准确率不高的问题，本发明提供一种非局部双流卷积神经网络模型的人体行为识别方法，设计了非局部双流卷积神经网络模型，将传统CNN与非局部特征提取模块相结合；采用A-softmax Loss函数在双流的两个分支模型的最后分类中使类间距离更大，类内距离更小。

本发明提供一种非局部双流卷积神经网络模型的人体行为识别方法，对数据样本使用结合CNN模型与非局部神经网络模块的网络结构进行训练：在除最后一次以外的每次处理时通过卷积层提取特征及池化层降维，再由所述非局部神经网络模块进行非局部特征提取及特征去躁后，进行下一次卷积层及池化层处理；在最后一次卷积层及池化层处理后，通过全连接层汇总数据样本的特征得到特征向量，再通过损失层进行分类和归一化。

优选地，在损失层中采用A-softmax损失函数，对分类角度进行m倍数的限制，对全连接层的权值W和偏置b做出||W||＝1和||b||＝0的限制。

优选地，采用双流卷积神经网络模型，通过空间流CNN模型和时间流CNN模型，来提取视频样本的空间表观信息和时间运动信息；

输入视频样本集经过预处理得到RGB帧和光流图像，将其划分为训练集和测试集，分别送入空间流CNN模型和时间流CNN模型进行训练和测试；

将空间流CNN模型和时间流CNN模型的损失层输出进行加权融合，得到双流卷积神经网络模型的行为识别结果。

本发明的有益效果在于：