[发明专利]基于知识蒸馏与对抗学习的多模态人体动作识别方法

权利要求书

1.基于知识蒸馏与对抗学习的多模态人体动作识别方法，其特征在于，包括以下步骤：

步骤S1，输入多模态人体动作训练数据：

输入数据包括RGB模态和Depth模态，其训练样本分别表示为i＝1,2,…,N，训练样本数为N；

步骤S2，针对各模态数据，分别训练单模态动作识别模型，本步骤具体包括:

S201，对每个模态的训练数据，分别构建深度神经网络识别模型和其中，μ和ν分别表示RGB模态和Depth模态下识别网络的参数集；

S202，以交叉熵作为网络预测与真实One-Hot编码标签的误差度量函数，采用随机梯度下降算法进行网络参数优化训练，获得最优参数集和

步骤S3，多模态识别模型知识蒸馏集成，本步骤具体包括:

S301，构建多模态集成学生网络S_θ，其中θ为网络的参数集；

S302，将深度神经网络识别模型和做为教师网络，通过知识蒸馏与对抗学习方式来训练S_θ，获得最优参数集

步骤S4，分类预测

在测试阶段，仅需将RGB模态的测试样本输入到网络中，网络输出即为对未知类别样本的类别预测概率。

2.根据权利要求1所述的基于知识蒸馏与对抗学习的多模态人体动作识别方法，其特征在于，所述步骤S201中深度神经网络识别模型和的网络结构如下：

深度神经网络识别模型和采用相同的网络架构，其网络结构均为SlowFast网络；残差网络ResNet-50作为SlowFast的骨干网络；各网络的初始参数值均为SlowFast网络在Kinetics-400数据集上的训练权值。

3.根据权利要求1所述的基于知识蒸馏与对抗学习的多模态人体动作识别方法，其特征在于，所述步骤S301中的多模态集成学生网络S_θ的网络结构如下：

网络S_θ为SlowFast网络，残差网络ResNet-50作为SlowFast的骨干网络；网络的初始参数值为SlowFast网络在Kinetics-400数据集上的训练权值。

4.根据权利要求1所述的基于知识蒸馏与对抗学习的多模态人体动作识别方法，其特征在于，所述步骤S302中的知识蒸馏与对抗学习方式：

将教师网络和的预测概率的均值p_i∈R^|C|，作为软标签来引导学生网络的训练，使得学生网络S_θ的预测结果q_i∈R^|C|与教师网络的预测结果保持一致，其中|C|为类别数，具体过程如下：

首先，利用KL散度计算教师网络与学生网络的预测差异，记为然后，将p_i,q_i输入到判别器子网络D_γ中，计算集成判别损失其中，γ为判别器子网络的参数集；采用对抗训练优化目标函数获得最优参数和其中，θ为多模态集成学生网络S_θ的参数集。

5.根据权利要求4所述的基于知识蒸馏与对抗学习的多模态人体动作识别方法，其特征在于，所述的判别器子网络D_γ由一个全连接层构成，输入特征维度为|C|，输出特征维度为2维。