[发明专利]基于人工智能的跨模态检索方法、装置、设备及存储介质

说明书

本申请涉及人工智能技术领域，揭示了一种基于人工智能的跨模态检索方法、装置、设备及存储介质，其中方法包括：将所述待检索内容输入所述当前内容模态对应的目标变分编码器进行映射到公共空间处理，得到待检索正态分布向量；对所述待检索正态分布向量进行认知不确定性计算；判断所述认知不确定性是否小于或等于预设的不确定性阈值；若是，则将所述目标检索模态对应的正态分布向量库，作为待匹配子库；对所述待检索正态分布向量和所述待匹配子库中的每个正态分布标准向量进行相似度计算，得到待判断相似度；根据各个所述待判断相似度，确定所述待检索内容对应的跨模态检索结果。本申请规避了可能出现的错误，提高了跨模态检索的准确性。

技术领域

本申请涉及到人工智能技术领域，特别是涉及到一种基于人工智能的跨模态检索方法、装置、设备及存储介质。

背景技术

跨模态检索是人工智能研究的前沿领域，对不同模态的数据的匹配是人类具有的天然能力。但对于人工智能而言，由于不同模态的数据之间的表示具有很大的差异性，如何精准的匹配二者依然是一个具有挑战性的问题。

现有的解决方案是将不同模态的数据转换为空间映射，建立一对一的映射进行匹配，实现将跨模态检索问题转换为公共空间中的距离度量问题。然而给定一个第一模态的内容可能会对应多个第二模态的内容，第一模态和第二模态是不同的模态，因此基于简单的建立一对一的映射的跨模态检索的准确性较低，影响了跨模态检索的应用。

发明内容

本申请的主要目的为提供一种基于人工智能的跨模态检索方法、装置、设备及存储介质，旨在解决基于简单的建立一对一的映射的跨模态检索的准确性较低，影响了跨模态检索的应用的技术问题。

为了实现上述发明目的，本申请提出一种基于人工智能的跨模态检索方法，所述方法包括：

获取待检索内容、目标检索模态和所述待检索内容对应的当前内容模态，其中，所述目标检索模态和所述当前内容模态是不同的模态；

将所述待检索内容输入所述当前内容模态对应的目标变分编码器进行映射到公共空间处理，得到待检索正态分布向量；

对所述待检索正态分布向量进行认知不确定性计算；

判断所述认知不确定性是否小于或等于预设的不确定性阈值；

若是，则将所述目标检索模态对应的正态分布向量库，作为待匹配子库；

对所述待检索正态分布向量和所述待匹配子库中的每个正态分布标准向量进行相似度计算，得到待判断相似度；

根据各个所述待判断相似度，确定所述待检索内容对应的跨模态检索结果。

进一步的，所述对所述待检索正态分布向量和所述待匹配子库中的每个正态分布标准向量进行相似度计算，得到待判断相似度的步骤，包括：

将所述待匹配子库中的任一个所述正态分布标准向量作为待匹配向量；

对所述待检索正态分布向量和所述待匹配向量进行JS散度计算，得到所述待匹配向量对应的所述待判断相似度。

进一步的，所述根据各个所述待判断相似度，确定所述待检索内容对应的跨模态检索结果的步骤，包括：

从各个所述待判断相似度中查找出小于预设的相似度阈值的所述待判断相似度，以形成候选相似度；

对各个所述候选相似度进行正序排序；

采用从开头开始获取的方式，从正序排序后的各个所述候选相似度中筛选出预设数量的所述候选相似度，以形成目标相似度集；

将所述目标相似度集对应的每个所述正态分布标准向量对应的待匹配内容，作为目标检索内容；

将各个所述目标检索内容作为所述待检索内容对应的所述跨模态检索结果。