[发明专利]一种跨模态信息检索方法、装置和存储介质

权利要求书

1.一种跨模态信息检索方法，其特征在于，所述方法包括：

获取第一模态信息和第二模态信息，所述第一模态信息为第一模态的待检索信息，所述第二模态信息为第二模态的预存信息；

根据所述第一模态信息的模态特征，确定所述第一模态信息的第一语义特征和第一注意力特征；

根据所述第二模态信息的模态特征，确定所述第二模态信息的第二语义特征和第二注意力特征；

基于所述第一注意力特征、所述第二注意力特征、所述第一语义特征以及所述第二语义特征，确定所述第一模态信息和所述第二模态信息的相似度；

所述确定所述第一模态信息和所述第二模态信息的相似度，包括：根据所述第二模态信息对于所述第一模态信息关注的语义特征以及所述第一模态信息对于所述第二模态信息关注的语义特征，确定所述第一模态信息和所述第二模态信息的相似度；

在所述相似度满足预设条件的情况下，将所述第二模态信息作为所述第一模态信息的检索结果。

2.根据权利要求1所述的方法，其特征在于，

所述第一语义特征包括第一分语义特征和第一和语义特征；所述第一注意力特征包括第一分注意力特征和第一和注意力特征；

所述第二语义特征包括第二分语义特征和第二和语义特征；所述第二注意力特征包括第二分注意力特征和第一和注意力特征。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一模态信息的模态特征，确定所述第一模态信息的第一语义特征和第一注意力特征，包括：

将所述第一模态信息划分为至少一个信息单元；

在每个信息单元中进行第一模态特征提取，确定每个信息单元的第一模态特征；

基于每个所述信息单元的第一模态特征，提取语义特征空间的第一分语义特征；

基于每个所述信息单元的第一模态特征，提取注意力特征空间的第一分注意力特征。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据每个信息单元的第一分语义特征，确定所述第一模态信息的第一和语义特征；

根据每个信息单元的第一分注意力特征，确定所述第一模态信息的第一和注意力特征。

5.根据权利要求2所述的方法，其特征在于，所述根据所述第二模态信息的模态特征，确定所述第二模态信息的第二语义特征和第二注意力特征，包括：

将所述第二模态信息划分为至少一个信息单元；

在每个信息单元中进行第二模态特征提取，确定每个信息单元的第二模态特征；

基于每个所述信息单元的第二模态特征，提取语义特征空间的第二分语义特征；

基于每个所述信息单元的第二模态特征，提取注意力特征空间的第二分注意力特征。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据每个信息单元的第二分语义特征，确定所述第二模态信息的第二和语义特征；

根据每个信息单元的第二分注意力特征，确定所述第二模态信息的第二和注意力特征。

7.根据权利要求2所述的方法，其特征在于，所述基于所述第一注意力特征、所述第二注意力特征、所述第一语义特征以及所述第一语义特征，确定所述第一模态信息和所述第二模态信息的相似度，包括：

根据所述第一模态信息的第一分注意力特征、第一分语义特征和所述第二模态信息的第二和注意力特征，确定第一注意力信息；

根据所述第二模态信息的第二分注意力特征、第二分语义特征和所述第一模态信息的第一和注意力特征，确定第二注意力信息；

根据所述第一注意力信息和所述第二注意力信息，确定所述第一模态信息与所述第二模态信息的相似度。