[发明专利]一种基于多尺度特征神经网络的人体行为识别方法

权利要求书

1.一种基于多尺度特征神经网络的人体行为识别方法，其特征在于，包括以下步骤：

步骤1、对视频数据进行包括逐帧拆解及归一化的预处理操作，获得包含时序信息的连续视频帧；

步骤2、将样本视频数据经过步骤1的所述预处理操作后添加对应的动作标签构成训练样本；

步骤3、构建多尺度特征神经网络，所述多尺度特征神经网络依次包括第一2+1D卷积层、池化层、四组多尺度特征模块和全局平均池化层，由所述全局平均池化层输出提取的时空特征，由所述时空特征计算对应的动作概率；所述多尺度特征模块包括依次连接的第一卷积层、类残差结构、第二卷积层和第三卷积层，所述类残差结构包括通道数均分的第一分支、第二分支、第三分支和第四分支，所述第二分支、第三分支和第四分支分别设有第四卷积层，所述第一分支的输入特征直接输出，所述第二分支的输出与所述第三分支的输入叠加输入至所述第三分支的第四卷积层，所述第三分支的输出与所述第四分支的输入叠加输入至所述第四分支的第四卷积层，所述第一分支、第二分支、第三分支和第四分支的输出叠加输入至所述第二卷积层；所述多尺度特征模块的输入与所述第三卷积层的输入叠加作为所述多尺度特征模块的输出；

步骤4、由所述训练样本训练所述多尺度特征神经网络；

步骤5、对于待识别的视频数据按所述步骤1得到相应的连续视频帧并输入由所述步骤4训练完成的所述多尺度特征神经网络得到识别结果。

2.根据权利要求1所述的基于多尺度特征神经网络的人体行为识别方法，其特征在于，所述步骤2对所述样本视频数据按步骤1预处理包括对所述样本视频数据按时间维度逐帧拆解，拆解后连续的视频帧，以16帧为一组进行数据增强操作再进行归一化。

3.根据权利要求2所述的基于多尺度特征神经网络的人体行为识别方法，其特征在于，所述数据增强操作包括等比例缩放、随机裁剪和随机水平翻转。

4.根据权利要求1所述的基于多尺度特征神经网络的人体行为识别方法，其特征在于，所述第一卷积层和所述第二卷积层的卷积核为1×1×1，所述第三卷积层和所述第四卷积层的卷积核为3×3×3。

5.根据权利要求1所述的基于多尺度特征神经网络的人体行为识别方法，其特征在于，所述四组多尺度特征模块的通道数依次为64、128、256和512。

6.根据权利要求1所述的基于多尺度特征神经网络的人体行为识别方法，其特征在于，所述多尺度特征神经网络的目标函数为交叉熵函数，所述多尺度特征神经网络的反向传播算法为梯度随机下降算法。