[发明专利]基于知识关系检索增强方法、模型、设备及存储介质

说明书

本申请实施例涉及大模型迁移学习技术领域，特别涉及一种基于知识关系检索增强方法、模型、设备及存储介质，该方法包括：首先，构建记忆内存；记忆内存包括外部记忆内存和增强记忆内存；然后，采用下游数据集作为查询，从外部记忆内存中检索知识；将检索到的知识作为检索查询，从增强记忆内存中检索语义文本特征；接下来，基于语义文本特征和原始图像特征，获得图像分类的最终增强特征；最后，基于最终增强特征，对原始图像特征进行增强。本申请实施例提供的基于知识关系检索增强方法，利用大规模外部数据集作为媒介，从记忆内存中检索出更加有效的知识对原始特征进行增强，以提高模型的分类性能。

技术领域

本申请实施例涉及大模型迁移学习技术领域，特别涉及一种基于知识关系检索增强方法、模型、设备及存储介质。

背景技术

视觉语言基础模型从大规模预训练数据中学习大量知识，如何将这些知识转移到下游的视觉任务是值得研究的，传统的微调策略将不可避免地失去对下游任务有用的知识。目前，现有的检索增强方法是通过元素可寻址内容来利用数据的内存，这可以减轻基础模型的知识丢失问题，并帮助它们更好地传递知识以提高性能。然而，该方法直接利用样本之间的特征相似度对知识进行检索，有效的知识可能会被遗漏。

发明内容

本申请实施例提供一种基于知识关系检索增强方法、模型、设备及存储介质，利用大规模外部数据集作为媒介，从记忆内存中检索出更加有效的知识对原始特征进行增强，以提高模型的分类性能。

为解决上述技术问题，第一方面，本申请实施例提供一种基于知识关系检索增强方法，包括以下步骤：首先，构建记忆内存；记忆内存包括外部记忆内存和增强记忆内存；然后，采用下游数据集作为查询，从外部记忆内存中检索知识；将检索到的知识作为检索查询，从增强记忆内存中检索语义文本特征；接下来，基于语义文本特征和原始图像特征，获得图像分类的最终增强特征；最后，基于最终增强特征，对原始图像特征进行增强。

在一些示例性实施例中，基于语义文本特征和原始图像特征，获得图像分类的最终增强特征，包括：采用变压器的编码器对语义文本特征进行融合，得到最终响应特征；通过结合原始图像特征和所述最终响应特征，获得图像分类的最终增强特征。

在一些示例性实施例中，构建记忆内存，包括：分别构建外部记忆内存、增强记忆内存；外部记忆内存由大规模数据集通过大模型提取的特征组成；增强记忆内存通过采用各个下游数据样本作为查询，从外部记忆内存中检索知识，将检索到的知识作为键值存储在增强记忆内存中，每个键值相对应的值由相应查询的标签生成文本特征。

在一些示例性实施例中，将检索到的知识作为检索查询，从增强记忆内存中检索语义文本特征，包括：将检索到的知识作为检索查询，与增强记忆内存中的各个键值进行相似度比较，得到相似度矩阵；根据相似度矩阵，从增强记忆内存中得到检索出的有效的语义文本特征。

在一些示例性实施例中，相似度的计算公式如下所示：

其中，i表示样本索引，p和q分别表示Q和K的索引。

第二方面，本申请实施例还提供了一种基于知识关系检索增强模型，包括：记忆内存构建模块、知识关系检索模块以及图像特征增强模块；记忆内存构建模块包括外部记忆内存构建模块和增强记忆内存构建模块，记忆内存构建模块用于分别构建外部记忆内存、增强记忆内存；知识关系检索模块包括第一检索模块和第二检索模块，第一检索模块用于在外部记忆内存中检索知识，并将检索到的知识作为在增强记忆内存中的检索查询；第二检索模块用于在增强记忆内存中的检索语义文本特征；图像特征增强模块用于根据语义文本特征和原始图像特征，获得图像分类的最终增强特征；并基于最终增强特征，对原始图像特征进行增强。

在一些示例性实施例中，外部记忆内存模块通过利用在大规模数据集预训练的视觉编码器，对大规模数据集提取图像特征。