[发明专利]基于多模态自监督深度对抗网络的短视频分类方法及装置

权利要求书

1.一种基于多模态自监督深度对抗网络的短视频分类方法，其特征在于，所述方法包括：

从模态互补性的角度利用多头注意力编码网络分别构建以视觉模态为主的模态互补特征表示以及完备模态下的特征表示；

以完备模态下的特征表示作为自监督信号重建原始特征，采用生成对抗网络生成缺失的模态信息，弥补原始的模态缺失；

引入生成对抗网络的鉴别损失和循环一致损失，利用鉴别器鉴别多头注意力编码网络输出的模态互补特征和完备的模态特征；

利用生成器生成的原始模态特征通过多头注意力编码网络进行二次编码，将编码后的特征表示与完备的模态特征表示进行对抗，使编码后的特征表示向完备特征循环；

构建由生成对抗网络的鉴别损失、循环一致损失以及分类任务的损失构成的目标函数，并以此目标函数来指导网络寻找最优解，实现对短视频的分类。

2.根据权利要求1所述的一种基于多模态自监督深度对抗网络的短视频分类方法，其特征在于，所述从模态互补性的角度利用多头注意力编码网络分别构建以视觉模态为主的模态互补特征表示以及完备模态下的特征表示具体为：

学习视觉模态特征f_v和音频特征f_a的互补特征z₁：

其中，利用f_a生成查询矩阵，为生成查询矩阵的权重，为生成键矩阵的权重，为生成值矩阵的权重，d_k为比例缩放因子；

学习视觉模态特征f_v和轨迹特征f_t的互补特征z₂：

其中，利用f_v生成键矩阵和值矩阵，利用f_t生成查询矩阵，为生成查询矩阵的权重，为生成键矩阵的权重，为生成值矩阵的权重；

利用提取好的视觉模态特征f_v学习特征z₃：

其中，为生成查询矩阵的权重，为生成键矩阵的权重，为生成值矩阵的权重；

利用提取好的视觉模态特征f_v、音频特征f_a和轨迹特征f_t学习三者的完备互补特征z_*：

分别用f_v和f_a、f_t结合，将两个融合结果相加，构建出完备的模态表示；利用f_a和f_t生成查询矩阵，和分别为用f_a和f_t生成查询矩阵的权重，和为利用f_v生成值矩阵的权重，和为利用f_v生成键矩阵的权重。

3.根据权利要求2所述的一种基于多模态自监督深度对抗网络的短视频分类方法，其特征在于，所述生成对抗网络的鉴别损失和循环一致损失具体为：

其中，φ_i为融合视觉和第i个模态的基于多头注意力机制模态互补编码器，G_i为第i个模态的生成器，γ_i每项损失前面的超参数，E为期望分布。

4.一种基于多模态自监督深度对抗网络的短视频分类装置，其特征在于，所述装置包括：处理器和存储器，存储器中存储有程序指令，处理器调用存储器中存储的程序指令以使装置执行权利要求1-3中的任一项所述的方法步骤。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1-3中的任一项所述的方法步骤。