[发明专利]基于多时空信息融合卷积神经网络的人体行为识别方法

摘要

本发明提出了一种基于多时空信息融合卷积神经网络的人体行为识别方法，首先构建(2+1)D卷积神经网络，经训练后直到网络模型评估准确率达到稳定值后，使用网格模型进行视频人体行为识别。本发明中提出的(2+1)D卷积神经网络同时使用不同尺度空间感受野的空间卷积层进行空间信息提取，同时使用多个不同尺度时域感受野的时域卷积层进行时域信息提取，将提取的特征信息融合后作为下一层的输入，将包含n种尺度空间感受野的卷积核与包含m种尺度时域感受野的卷积核进行串联，设计了包含k种时空感受野的多时空融合卷积层，能够同时利用视频较长和较短时间范围内的特征信息建模，更准确地识别人体行为。

主权项

1.一种基于多时空信息融合卷积神经网络的人体行为识别方法，其特征在于，包括如下步骤：步骤一：制作样本标签，将样本数据集根据类别制作不同的标签，将样本数据集分为训练数据集和评估数据集；步骤二：构建(2+1)D卷积神经网络，使用MST单元替换(2+1)D网络中的卷积单元，构建MST‑(2+1)D模型；步骤三：初始化和设置网络模型，将网络模型参数随机初始化；步骤四：训练和评估模型，将所述训练数据集的每一帧图像裁剪成固定大小的图像输入网络模型进行训练，在每一轮训练后对网络模型进行评估；经多次训练后直到网络模型评估准确率达到一个稳定值后停止训练，保留网格模型的权重；步骤五：使用网格模型进行视频人体行为识别，将权重导入构建的MST‑(2+1)D模型中，进行人体行为识别。