[发明专利]基于多损失双流卷积神经网络的人体动作识别方法

摘要

本发明公开了基于多损失双流卷积神经网络的人体动作识别方法，它属于动作识别技术领域，解决了传统的双流网络动作细节信息丢失和无法提取时空特征的问题。本发明是对时序分割网络的改进，由多损失空间网络和时间网络构成，从体系结构角度来看，多损失双流卷积神经网络由三个分支构成：动作识别、动作复原和差异惩罚。动作复原加入了复原损失，保留动作细节信息和平衡提取的动作特征信息。差异惩罚利用外观特征计算动作特征进行分类，从而得到有效的时空特征。多损失双流卷积神经网络以端到端的方式训练学习，并利用动作识别损失、复原损失和差异损失辅助动作识别模块提取丰富的视频表达，能够更好地提高动作识别的准确率。

主权项

1.基于多损失双流卷积神经网络的人体动作识别方法，其特征在于，所述方法包括以下步骤：S1.将数据集中视频V平均分为K段S₁,S₂,…,S_K(K为经验值K＝3)，从每个子段中随机采样一帧图片和光流图作为多损失双流卷积神经网络的输入。S2.构建多损失双流卷积神经网络架构。S3.将步骤S1中采集的图片和光流图输入到多损失双流卷积神经网络中进行训练，使得损失函数最小。S4.将测试样本中的图片和光流图输入到上述已训练完成的多损失双流卷积神经网络中进行测试，再进行双流融合，最后完成基于视频的人体动作识别。