[发明专利]基于多时空信息融合卷积神经网络的人体行为识别方法

说明书

本发明提出了一种基于多时空信息融合卷积神经网络的人体行为识别方法，首先构建(2+1)D卷积神经网络，经训练后直到网络模型评估准确率达到稳定值后，使用网格模型进行视频人体行为识别。本发明中提出的(2+1)D卷积神经网络同时使用不同尺度空间感受野的空间卷积层进行空间信息提取，同时使用多个不同尺度时域感受野的时域卷积层进行时域信息提取，将提取的特征信息融合后作为下一层的输入，将包含n种尺度空间感受野的卷积核与包含m种尺度时域感受野的卷积核进行串联，设计了包含k种时空感受野的多时空融合卷积层，能够同时利用视频较长和较短时间范围内的特征信息建模，更准确地识别人体行为。

技术领域

本发明涉及一种视频人体行为识别方法，具体涉及一种基于多时空信息融合卷积神经网络的人体行为识别方法。

背景技术

视频人体行为识别是计算机视觉中最具挑战性的任务之一，而且可以在众多领域具有广泛的应用，如视频监控、运动检索、人机交互、智能家居以及医疗保健。传统的视频行为识别方法一般是通过人工设计的视频时空特征，如SIFT-3D、STIPs、HOG3D、HOF、密集轨迹(iDT)等。随着卷积神经网络在静态图像识别领域取得了引人注目的进步，涌现出了一大批具有强大特征提取能力的网络结构。近年，将卷积神经网络应用于视频行为识别成为了国内外研究热点。Ji等人将2D卷积扩展为能够获取时域信息的3D卷积，并应用到了视频行为识别中。Tran等人进一步研究时间建模在行为识别中的作用(对视频进行3D卷积)，设计了一个只输入RGB图像的卷积神经网络模型，取得了不错的效果，同时也证明了在视频行为识别中3D卷积神经网络显著优于2D卷积神经网络。利用时空信息而不仅仅是空间信息进行视频分类的优势在各种研究成果中已经得到验证。例如3D卷积神经网络的变体(2+1)D卷积、P3D卷积等。

但上述方法都存在一定的缺陷：第一，计算复杂，存在参数冗余；第二这些方法都只对单一时空感受野的信息建模，存在一定的局限性，难以提取多变的时空信息，影响了卷积网络性能，不能有效地识别复杂的人体行为。

发明内容

为克服现有技术中的问题，本发明提出的一种基于多时空信息融合卷积神经网络的人体行为识别方法，包括如下步骤：

步骤一：制作样本标签，将样本数据集根据类别制作不同的标签，将样本数据集分为训练数据集和评估数据集；

步骤二：构建(2+1)D卷积神经网络，使用MST单元替换(2+1)D网络中的卷积单元，构建MST-(2+1)D模型；

步骤三：初始化和设置网络模型，将网络模型参数随机初始化；

步骤四：训练和评估模型，将所述训练数据集的每一帧图像裁剪成尺寸为112*112的图像输入网络模型进行训练，在每一轮训练后对网络模型进行评估；经多次训练后直到网络模型评估准确率达到一个稳定值后停止训练，保留网格模型的权重；

步骤五：将得到的权重导入构建的MST-(2+1)D模型中，使用网格模型进行视频人体行为识别，进行人体行为识别。

本发明提出的所述基于多时空信息融合卷积神经网络的人体行为识别方法中，训练数据集和评估数据集的比例为2:1。

本发明提出的所述基于多时空信息融合卷积神经网络的人体行为识别方法中，所述MST(2+1)D模型中含有一个输入层、6个MST单元、一个全局池化层、一个全连接层、一个softmax分类层；每一个MST单元都包含一个空间卷积层、一个时域卷积层、两个BN层、两个非线性层，其中空间卷积层含有两种空间感受野，大小分别为1*1、3*3，时域卷积层含有三种时域感受野大小分别为1、3、5；对卷积层输出的张量进行池化，然后输入全连接层，将全连接层的输出作为最终的特征输入到softmax分类层进行分类。