[发明专利]一种跨模态信息检索方法、装置和存储介质

说明书

本公开涉及一种跨模态信息检索方法、装置和存储介质，其中，该包括：获取第一模态信息和第二模态信息；根据所述第一模态信息的模态特征，确定所述第一模态信息的第一语义特征和第一注意力特征；根据所述第二模态信息的模态特征，确定所述第二模态信息的第二语义特征和第二注意力特征；基于所述第一注意力特征、所述第二注意力特征、所述第一语义特征以及所述第二语义特征，确定所述第一模态信息和所述第二模态信息的相似度。通过本公开实施例提供的跨模态信息检索方案，可以实现在较低的时间复杂度内实现跨模态信息检索。

技术领域

本公开涉及计算机技术领域，尤其涉及一种跨模态信息检索方法、装置和存储介质。

背景技术

随着计算机网络的发展，用户可以在网络中获取大量的信息。由于信息数量的庞大，通常用户可以通过输入文字或者图片检索关注的信息。在信息检索技术不断优化的过程中，跨模态信息检索方式应运而生。跨模态信息检索方式可以实现利用某一种模态样本，搜索近似语义的其他模态样本。例如，利用图像来检索相应的文本，或者，利用文本来检索相应的图像。

但是，在相关的跨模态信息检索方式中，以文本-图片的跨模态方式为例，大多数跨模态信息检索方式着重于提高文本与图片在同一个向量空间中的特征质量，此类方法过于依赖文本与图片提取出来的特征质量。此外，由于检索问题的特殊性，度量特征相似度的方法在时间复杂度上不宜过高，否则会在实际应用中造成效率问题。

发明内容

有鉴于此，本公开提出了一种跨模态信息检索方法、装置和存储介质，可以实现在较低的时间复杂度内实现跨模态信息检索。

根据本公开的一方面，提供了一种跨模态信息检索方法，所述方法包括：

获取第一模态信息和第二模态信息；

根据所述第一模态信息的模态特征，确定所述第一模态信息的第一语义特征和第一注意力特征；

根据所述第二模态信息的模态特征，确定所述第二模态信息的第二语义特征和第二注意力特征；

基于所述第一注意力特征、所述第二注意力特征、所述第一语义特征以及所述第二语义特征，确定所述第一模态信息和所述第二模态信息的相似度。

在一种可能的实现方式中，

所述第一语义特征包括第一分语义特征和第一和语义特征；所述第一注意力特征包括第一分注意力特征和第一和注意力特征；

所述第二语义特征包括第二分语义特征和第二和语义特征；所述第二注意力特征包括第二分注意力特征和第一和注意力特征。

在一种可能的实现方式中，所述根据所述第一模态信息的模态特征，确定所述第一模态信息的第一语义特征和第一注意力特征，包括：

将所述第一模态信息划分为至少一个信息单元；

在每个信息单元中进行第一模态特征提取，确定每个信息单元的第一模态特征；

基于每个所述信息单元的第一模态特征，提取语义特征空间的第一分语义特征；

基于每个所述信息单元的第一模态特征，提取注意力特征空间的第一分注意力特征。

在一种可能的实现方式中，所述方法还包括：

根据每个信息单元的第一分语义特征，确定所述第一模态信息的第一和语义特征；

根据每个信息单元的第一分注意力特征，确定所述第一模态信息的第一和注意力特征。

在一种可能的实现方式中，所述根据所述第二模态信息的模态特征，确定所述第二模态信息的第二语义特征和第二注意力特征，包括：

将所述第二模态信息划分为至少一个信息单元；