[发明专利]一种基于语义分解的短视频事件检测方法

权利要求书

1.一种基于语义分解的短视频事件检测方法，其特征在于，所述方法包括：

将短视频多模态的原始特征向量与其对应的标签词向量相结合，得到语义分解后的多模态特征向量；

将语义分解后的多模态特征向量按模态输入到不同的自动编码器中，并将自动编码器的中间层作为输出，最小化不同自动编码器输出的差距，得到多模态融合后的特征向量；

将多模态融合后的特征向量作为节点初值输入到图神经网络中进行迭代更新，得到节点隐藏信息；

将图神经网络迭代完成后的节点隐藏信息输出到分类器中，得到最终的事件检测结果；

其中，所述将短视频多模态的原始特征向量与其对应的标签词向量相结合，得到语义分解后的多模态特征向量具体为：

s.t.v＝1,2,...,V i＝1,2,...,N,j＝1,2,...,C

其中，v为模态序号，i为短视频样本序号，j为标签序号，为第i个短视频样本第v模态的原始特征向量，为第j个标签的标签词向量，和为可学习参数，为第i个短视频样本第v模态在与第j个标签语义分解后未归一化的特征向量，R为实数集，D_v为第v模态的原始特征维数，D_w为词向量维数，D为语义分解后特征向量的维数，V为模态总数，N为短视频样本个数，C为标签总数，⊙为向量点积符号；同时需要归一化语义分解后的特征向量：

其中，max为取最大值符号，为第i个短视频样本第v模态在与第j个标签语义分解后的特征向量，由此构成语义分解项。

2.根据权利要求1所述的一种基于语义分解的短视频事件检测方法，其特征在于，

所述将语义分解后的多模态特征向量按模态输入到不同的自动编码器中，并将自动编码器的中间层作为输出，最小化不同自动编码器输出的差距具体为：

s.t.i＝1,2,...,N,j＝1,2,...,C,v＝1,2,...V

其中，

其中，AE为自动编码器，L为自动编码器的总层数，l为自动编码器层数序号，k和q为模态序号，为短视频第i个样本的第v模态在与第j个标签语义分解后输入到自动编码器l层的特征表示，d_l,v为第v模态在自动编码器第l层的节点数，

和分别为自动编码器l层的权重和偏置，∑为求和符号，为F范数，λ为调节参数；由此构成模态融合项。

3.根据权利要求1所述的一种基于语义分解的短视频事件检测方法，其特征在于，所述将多模态融合后的特征向量作为节点初值输入到图神经网络中进行迭代更新，得到节点隐藏信息具体为：

其中，Ψ＝{ψ₁,ψ₂,...,ψ_C}表示图结构的节点，E＝{e₁₁,e₁₂,...,e_1C,...,e_CC}表示图结构的边，ψ_c为图结构的第c个节点，e_cc’为连接图结构第c个节点与第c'个节点的边，代表了第c个标签出现时，第c'个标签同时出现的概率，利用标签相关性信息更新迭代图结构中每个节点的隐藏状态，图结构的初始化与消息传递公式为：

其中，t为图神经网络更新次数，为第i个短视频样本第j个节点的初始隐藏状态，为第t次更新时第i个短视频样本第j个节点的消息传递，为第i个短视频第j个节点t-1次更新的隐藏状态，j为第j个节点的所有邻接节点，e_jj为连接图结构第j个节点与第j个节点的边，代表了第j个标签出现时，第j个标签同时出现的概率，e_jj为连接图结构第j个节点与第j个节点的边，代表了第j个标签出现时，第j个标签同时出现的概率；

由此得到第t次更新节点隐藏状态的表达式：

其中，W^s，W^r，W，U^s，U^r，U为门控循环单元参数，为中间变量，为第i个短视频第j个节点第t次更新的节点隐藏状态，σ为sigmoid函数，tanh为双曲正切函数。