[发明专利]基于商品感知的多模态视频高光检测方法及其系统

权利要求书

1.一种基于商品感知的多模态视频高光检测方法，其特征在于，包括如下步骤：

S1：将一段视频划分为部分重叠的视频片段，提取每一段视频片段的帧特征，并采用Bi-GRU网络学习视频片段的自注意力语义表示；

S2：提取一段视频的视频标题、商品标签以及商品名称的词特征，通过沿相关词间的依赖边传递信息，构建视频标题图和商品名称图；建立商品属性列表，利用查询焦点图聚合模块分别获得属性感知的商品名称图和属性感知的视频标题图；

将属性感知的商品名称图转换为商品属性列表，利用查询焦点图聚合模块获得最终图，利用图神经网络获得最终图的边，将边的最终表达作为句法感知的文本信息表示；

S3：结合视频片段的句法感知的文本信息表示和自注意力语义表示，利用共同注意力模块分别获得句法感知的视觉表达和句法感知的语义表达，融合后得到跨模态语义表示；

采用Bi-GRU网络学习得到最终的语义表示，然后使用含有sigmoid函数的全连接层计算每一个视频片段的置信度；

S4：基于图的微调模块，利用步骤S3中置信度最高的k个片段作为图中节点，计算图中两两节点之间的连接指数，当连接指数大于阈值时，用边连接两个节点，形成无向图G；

S5：对无向图G进行图卷积，预测高光片段索引并输出索引对应的高光片段。

2.根据权利要求1所述的基于商品感知的多模态视频高光检测方法，其特征在于，步骤S1具体为：

1.1)将一段视频分为n个片段，每一个视频片段由连续的若干帧构成，且相邻两个视频片段之间存在部分重叠；标记视频中的每一个高光片段的边界作为标签；

1.2)提取每一个视频片段的帧特征v_i，构成帧特征集v＝(v₁，v₂，…v_i…，v_n)，其中，v_i表示第i个视频片段的帧特征；

1.3)将帧特征集作为第一Bi-GRU网络的输入，学习得到视频片段的自注意力语义表示计算公式为：

其中，和分别是第一Bi-GRU网络的前馈网络和反馈网络，W_v是可训练矩阵，表示第i个视频片段的自注意力语义表示，表示的前向语义特征，表示的后向语义特征，f(·)表示tanh激活函数，||表示将前后的语义特征进行拼接，b表示偏置；在初始化时，令

3.根据权利要求1所述的基于商品感知的多模态视频高光检测方法，其特征在于，步骤S2中，将视频标题的词特征表示为商品名称的词特征表示为商品标签的词特征表示为

将商品名称的词特征作为图的节点构建商品名称图将视频标题的词特征作为图的节点构建视频标题图