[发明专利]基于知识蒸馏与对抗学习的多模态人体动作识别方法

说明书

基于知识蒸馏与对抗学习的多模态人体动作识别方法，具体步骤是：输入多模态人体动作训练数据；针对各模态数据，分别训练单模态动作识别模型；多模态识别模型知识蒸馏集成；分类预测；利用知识蒸馏和对抗学习技术，将具有不同描述特性和分类能力的多模态识别模型集成迁移到一个新网络模型中；在测试阶段，该新模型能够在部分模态数据丢失的情况下仍然保持多模态的特征提取能力和判别力，提升了模型的分类效果和环境适应性。

技术领域

本发明属于视频分析技术领域，具体涉及基于知识蒸馏与对抗学习的多模态人体动作识别方法，可用于将视频中的人体动作数据进行分类识别。

背景技术

视频中的人体动作识别旨在对包含人体动作的图像序列进行处理分析，学习并理解其中人的动作和行为，进而建立起视频内容和动作类型之间的映射关系，使得计算机能够像人类一样去“理解”视频，并被广泛地应用于智能视频监控、公共安全与行为分析、人-机交互、人-机协作、医疗保健以及智能机器人等众多领域中。基于多模态数据的人体动作识别是指综合利用不同模态下的数据特性，如RGB视觉模态和具有场景结构信息的Depth模态，来对人体动作的表观、结构和运动信息进行更加全面地建模，以信息互补的方式为人体动作识别提供更加全面的特征刻画和描述，进而提高动作识别的精度。

目前基于多模态数据的人体动作识别方法，在训练和测试预测过程中均需要多模态数据作为识别模型的输入。然而在实际情况中，测试数据所能够获得的模态类型往往不够全面，有可能由于采集条件所限而导致某一模态的数据缺失，从而致使这些识别模型的预测精度大幅下降或由于数据模态不足而无法正常工作。

发明内容

为克服上述现有技术的不足，本发明目的在于提供了基于知识蒸馏与对抗学习的多模态人体动作识别方法，解决了现有基于多模态数据的人体动作识别技术中，由于测试数据中存在模态丢失现象而导致模型识别性能显著下降、甚至无法正常工作的问题；具有在测试环境中抗模态丢失的能力和灵活的模态适应性的特点。

为实现上述目的，本发明采用的技术方案是：

基于知识蒸馏与对抗学习的多模态人体动作识别方法，包括以下步骤：

步骤1，输入多模态人体动作训练数据：

输入数据包括RGB模态和Depth模态，其训练样本分别表示为i＝1,2,…,N，训练样本数为N；

步骤2，针对各模态数据，分别训练单模态动作识别模型，本步骤具体包括:

S201，对每个模态的训练数据，分别构建深度神经网络识别模型和其中，μ和ν分别表示RGB模态和Depth模态下识别网络的参数集；

S202，以交叉熵作为网络预测与真实One-Hot编码标签的误差度量函数，采用随机梯度下降算法进行网络参数优化训练，获得最优参数集和

步骤3，多模态识别模型知识蒸馏集成，本步骤具体包括:

S301，构建多模态集成学生网络S_θ，其中θ为网络的参数集；

S302，将深度神经网络识别模型和做为教师网络，通过知识蒸馏与对抗学习方式来训练S_θ，获得最优参数集

步骤4，分类预测：

在测试阶段，仅需将RGB模态的测试样本输入到网络中，网络输出即为对未知类别样本的类别预测概率。

所述步骤S201中深度神经网络识别模型和的网络结构如下：

网络和采用相同的网络架构，其网络结构均为SlowFast网络；残差网络ResNet-50作为SlowFast的骨干网络；各网络的初始参数值均为SlowFast网络在Kinetics-400数据集上的训练权值。