[发明专利]多模态特征融合方法、装置、计算设备以及介质

权利要求书

1.一种多模态特征融合方法，其特征在于，包括：

提取多媒体资源的多个模态中各个模态的特征；

将各个模态的特征在模态维度进行组合，生成多通道特征，其中，所述多通道特征的每个通道与一个所述模态对应；

对所述多通道特征进行卷积处理，生成所述多通道特征对应的融合特征。

2.根据权利要求1所述的方法，其特征在于，所述多通道特征为L×D×N维的特征向量，所述N为所述多个模态的模态数量，所述对所述多通道特征进行卷积处理，包括：

通过C1个第一卷积核对所述多通道特征在维度D的方向上进行卷积处理，生成第一融合特征，所述第一卷积核的大小根据所述维度D的数值确定，所述第一融合特征的维度为L×D×C1。

3.根据权利要求2所述的方法，其特征在于，所述对所述多通道特征进行卷积处理，还包括：

通过C2个第二卷积核对所述第一融合特征在维度D的方向上进行卷积处理，生成第二融合特征，所述第二融合特征的维度为L×D×C2，所述第二卷积核的大小小于所述第一卷积核的大小。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在提取各个模态的特征之后，基于预定分组对各个模态的特征进行特征聚合；

基于特征聚合的结果生成具有相同维度的各个模态的特征向量。

5.根据权利要求4所述的方法，其特征在于，所述基于预定分组对各个模态的特征进行特征聚合，包括：

采用Nextvlad模型，基于预定分组对各个模态的不同维度的特征进行特征聚合。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：

对所述融合特征在所述模态维度进行拉伸处理，生成对应的第三融合特征。

7.根据权利要求1所述的方法，其特征在于，所述多媒体资源包括视频的图像帧数据、音频数据以及文本数据，所述提取多媒体资源的多个模态的特征，包括：

从所述图像帧数据中提取所述视频对应的图像特征；

从所述音频数据中提取所述视频对应的音频特征；以及

从所述文本数据中提取所述视频对应的文本特征。

8.一种多模态特征融合装置，其特征在于，包括：

特征提取模块，用于提取多媒体资源的多个模态中各个模态的特征；

模态组合模块，用于将各个模态的特征在模态维度进行组合，生成多通道特征，其中，所述多通道特征的每个通道与一个所述模态对应；

卷积处理模块，用于对所述多通道特征进行卷积处理，生成所述多通道特征对应的融合特征。

9.一种计算设备，包括：处理器和存储器，所述存储器存储有可执行指令，所述处理器用于调用所述存储器存储的可执行指令执行如权利要求1至7中任一项所述的方法。

10.一种介质，其上存储有程序，所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法。