[发明专利]基于人工智能的跨模态检索方法、装置、设备及存储介质

权利要求书

1.一种基于人工智能的跨模态检索方法，其特征在于，所述方法包括：

获取待检索内容、目标检索模态和所述待检索内容对应的当前内容模态，其中，所述目标检索模态和所述当前内容模态是不同的模态；

将所述待检索内容输入所述当前内容模态对应的目标变分编码器进行映射到公共空间处理，得到待检索正态分布向量；

对所述待检索正态分布向量进行认知不确定性计算；

判断所述认知不确定性是否小于或等于预设的不确定性阈值；

若是，则将所述目标检索模态对应的正态分布向量库，作为待匹配子库；

对所述待检索正态分布向量和所述待匹配子库中的每个正态分布标准向量进行相似度计算，得到待判断相似度；

根据各个所述待判断相似度，确定所述待检索内容对应的跨模态检索结果。

2.根据权利要求1所述的基于人工智能的跨模态检索方法，其特征在于，所述对所述待检索正态分布向量和所述待匹配子库中的每个正态分布标准向量进行相似度计算，得到待判断相似度的步骤，包括：

将所述待匹配子库中的任一个所述正态分布标准向量作为待匹配向量；

对所述待检索正态分布向量和所述待匹配向量进行JS散度计算，得到所述待匹配向量对应的所述待判断相似度。

3.根据权利要求1所述的基于人工智能的跨模态检索方法，其特征在于，所述根据各个所述待判断相似度，确定所述待检索内容对应的跨模态检索结果的步骤，包括：

从各个所述待判断相似度中查找出小于预设的相似度阈值的所述待判断相似度，以形成候选相似度；

对各个所述候选相似度进行正序排序；

采用从开头开始获取的方式，从正序排序后的各个所述候选相似度中筛选出预设数量的所述候选相似度，以形成目标相似度集；

将所述目标相似度集对应的每个所述正态分布标准向量对应的待匹配内容，作为目标检索内容；

将各个所述目标检索内容作为所述待检索内容对应的所述跨模态检索结果。

4.根据权利要求1所述的基于人工智能的跨模态检索方法，其特征在于，所述将所述待检索内容输入所述当前内容模态对应的目标变分编码器进行映射到公共空间处理，得到待检索正态分布向量的步骤之前，所述方法还包括：

获取所述当前内容模态对应的多个第一训练样本及预训练变分编码器；

将各个所述第一训练样本中的任一个所述第一训练样本作为目标样本；

将所述目标样本的第一内容样本输入所述预训练变分编码器进行映射到公共空间处理，得到待分析正态分布向量；

对所述待分析正态分布向量和所述目标样本的待匹配正态分布向量进行二范数计算，得到待分析相似度，其中，所述目标样本的所述待匹配正态分布向量是与所述目标样本的所述第一内容样本准确匹配的目标内容的正态分布标准向量，所述目标内容的模态为所述目标检索模态；

根据预设的第一损失函数和所述待分析相似度进行损失值计算，得到第一损失值；

根据所述第一损失值更新所述预训练变分编码器的网络参数；

重复执行所述将各个所述第一训练样本中的任一个所述第一训练样本作为目标样本的步骤，直至达到预设的第一模型训练结束条件；

将达到所述第一模型训练结束条件的所述预训练变分编码器作为所述当前内容模态对应的所述目标变分编码器。

5.根据权利要求4所述的基于人工智能的跨模态检索方法，其特征在于，所述第一损失函数的计算公式M₁为：

p_θ＝s(-a||Z_v-Z_t||₂+b)

其中，|p_θ|是计算p_θ的绝对值，p_θ是所述待分析相似度，δ()是符号函数，c是个大于0的常量，s()是sigmoid激活函数，||Z_v-Z_t||₂是计算Z_v-Z_t的二范数，Z_v是所述待分析正态分布向量，Z_t是所述目标样本的所述待匹配正态分布向量，a和b均是预设的常量。