[发明专利]多模态特征融合方法、装置、计算设备以及介质

说明书

本公开实施例提供了一种多模态特征融合方法、装置、计算设备以及介质，涉及机器学习技术领域。该方法包括：提取多媒体资源的多个模态中各个模态的特征；将各个模态的特征在模态维度进行组合，生成多通道特征，其中，多通道特征的每个通道与一个模态对应；对多通道特征进行卷积处理，生成多通道特征对应的融合特征。根据本公开实施例的技术方案，能够实现不同模态特征之间的信息互补，有效融合不同模态的特征。

技术领域

本公开的实施方式涉及机器学习技术领域，更具体地，本公开的实施方式涉及多模态特征融合方法、多模态特征融合装置、计算设备以及介质。

背景技术

本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着互联网技术的发展，网络上涌现的多媒体资源也越来越多。对于多媒体资源，例如，由图像、音频等多种模态数据组成的视频，如何提取多媒体资源的特征成为了关注的重点。

在相关的技术方案中，提取多媒体资源的各个模态的特征，将各个模态的特征在某一个维度上直接进行数值拼接。举例而言，设多媒体资源的两个模态的特征包括：一维特征a和一维特征b，其中，a＝[1,2,3]，b＝[7,6,5,4]，将特征a和特征b在当前单一维度上进行特征拼接，得到一维特征c＝[1,2,3,7,6,5,4]。

发明内容

但是，上述技术方案中，由于是在单一维度上进行拼接操作，没有考虑各个模态的特征之间的相互关系，无法实现各个模态之间的信息互补。

为此，非常需要一种改进的多模态特征融合方法，以使能够实现不同模态特征之间的信息互补，对不同模态的特征进行有效融合。

在本上下文中，本公开的实施方式期望提供一种多模态特征融合方法、多模态特征融合装置、计算设备以及介质。

在本公开实施例的第一方面中，提供了一种多模态特征融合方法，包括：提取多媒体资源的多个模态中各个模态的特征；将各个模态的特征在模态维度进行组合，生成多通道特征，其中，所述多通道特征的每个通道与一个所述模态对应；对所述多通道特征进行卷积处理，生成所述多通道特征对应的融合特征。

根据本公开的第一方面，在一些示例实施例中，所述多通道特征为L×D×N维的特征向量，所述N为所述多个模态的模态数量，所述对所述多通道特征进行卷积处理，包括：通过C1个第一卷积核对所述多通道特征在维度D的方向上进行卷积处理，生成第一融合特征，所述第一卷积核的大小根据所述维度D的数值确定，所述第一融合特征的维度为L×D×C1。

根据本公开的第一方面，在一些示例实施例中，所述对所述多通道特征进行卷积处理，还包括：通过C2个第二卷积核对所述第一融合特征在维度D的方向上进行卷积处理，生成第二融合特征，所述第二融合特征的维度为L×D×C2，所述第二卷积核的大小小于所述第一卷积核的大小。

根据本公开的第一方面，在一些示例实施例中，所述方法还包括：在提取各个模态的特征之后，基于预定分组对各个模态的特征进行特征聚合；基于特征聚合的结果生成具有相同维度的各个模态的特征向量。

根据本公开的第一方面，在一些示例实施例中，所述基于预定分组对各个模态的特征进行特征聚合，包括：采用Nextvlad模型，基于预定分组对各个模态的不同维度的特征进行特征聚合。

根据本公开的第一方面，在一些示例实施例中，所述方法还包括：对所述融合特征在所述模态维度进行拉伸处理，生成对应的第三融合特征。

根据本公开的第一方面，在一些示例实施例中，所述多媒体资源包括视频的图像帧数据、音频数据以及文本数据，所述提取多媒体资源的多个模态的特征，包括：从所述图像帧数据中提取所述视频对应的图像特征；从所述音频数据中提取所述视频对应的音频特征；以及从所述文本数据中提取所述视频对应的文本特征。