[发明专利]一种基于多模态联合学习的短视频分类方法及装置

权利要求书

1.一种基于多模态联合学习的短视频分类方法，其特征在于：包括如下：

A、对一个完整的短视频提取其视觉模态特征z_v、声音模态特征z_a和文本模态特征z_t；

B、分别学习视觉模态特征z_v的潜在表示特征考虑声音模态特征z_a后的视觉模态特征的潜在表示特征考虑文本模态特征z_t后的视觉模态特征的潜在表示特征和考虑声音模态特征z_a及文本模态特征z_t后的视觉模态特征的潜在表示特征

C、将B中的四种视觉模态的潜在表示特征堆叠成矩阵将矩阵A输入自动编码器中，得到四种视觉模态的潜在表示特征的公共潜在表示特征H和重建表示并由此构建重建损失函数

D、获取A所述短视频的标签信息，采用逆协方差估计策略和图注意力模型探究标签间的相关性并更新标签表示，得到由标签向量组成的标签特征矩阵P，其中标签特征矩阵P采用随机初始化方式得到；

E、利用Multi-head Attention，对公共潜在表示特征H和标签特征矩阵P进行信息融合，得到A所述短视频的最终表示；

F、对E中的最终表示做多标签分类，得到分类损失函数

G、由重建损失函数和分类损失函数构建目标函数并训练至收敛状态，其中，0＜λ_r＜1；

所述B包括：

利用DNN网络学习视觉模态特征z_v的潜在表示特征其中，表示特定于视觉特征的映射器，由DNN网络构成，θ₀为DNN网络的模型参数；

考虑声音模态特征z_a后，计算视觉模态特征z_v和声音模态特征z_a的相似程度：把这种相似程度加入视觉模态特征z_v中得到再通过全连接层学习潜在表示特征其中，f_c表示全连接层，θ₁为全连接层待学习参数；

考虑文本模态特征z_t后的视觉模态特征的潜在表示特征为：其中，θ₂为全连接层待学习参数；

考虑声音模态特征z_a及文本模态特征z_t后，首先获取声音模态特征z_a和文本模态特征z_t的联合信息z_at：潜在表示特征为：其中，z′_v＝tanh(θ′z_v+b)，d_h表示潜在表示特征的维度，θ₃为全连接层待学习参数，θ′表示变换权重，b表示偏重；

所述D包括如下：

D1、获取A所述短视频的标签信息：采用表示标签集合，考虑图G(V,E),V＝{1,2,…,C}表示标签节点,E∈|V|×|V|表示对应边集合，对于任意标签节点i，其邻域节点被定义为ρ(i)＝{j:(i,j)∈E}∪{i}，标签节点特征集合为Q＝[q₁,q₂,...,q_C]，为标签C初始特征，表示每个标签的原始特征维度是m，C表示标签类别数量；

D2、引入逆协方差矩阵学习标签间的关系结构：

s.t.S≥0；tr(S)＝1；

D3、将标签节点特征集合Q输入图注意层，得到新的标签节点特征集合Q'：q′_i＝∑_j∈ρ(i)s_ij*M_h(q_j)+b_i，表示偏差，M_h表示应用在每个标签节点上的特征映射函数，d_k表示标签节点特征集合的维度；

D4、更新标签节点特征的相关系数矩阵S'：

s.t.S'≥0；tr(S')＝1；

D5、建立两到三个图注意层，重复D3、D4，得到由标签向量组成的标签特征矩阵P：d_u表示标签向量的特征维度。