[发明专利]基于知识关系检索增强方法、模型、设备及存储介质

权利要求书

1.一种基于知识关系检索增强方法，其特征在于，包括：

构建记忆内存；所述记忆内存包括外部记忆内存和增强记忆内存；

采用下游数据集作为查询，从所述外部记忆内存中检索知识；将检索到的知识作为检索查询，从所述增强记忆内存中检索语义文本特征；

基于所述语义文本特征和原始图像特征，获得图像分类的最终增强特征；

基于最终增强特征，对所述原始图像特征进行增强。

2.根据权利要求1所述的基于知识关系检索增强方法，其特征在于，所述基于所述语义文本特征和原始图像特征，获得图像分类的最终增强特征，包括：

采用变压器的编码器对所述语义文本特征进行融合，得到最终响应特征；

通过结合原始图像特征和所述最终响应特征，获得图像分类的最终增强特征。

3.根据权利要求1所述的基于知识关系检索增强方法，其特征在于，所述构建记忆内存，包括：分别构建外部记忆内存、增强记忆内存；

所述外部记忆内存由大规模数据集通过大模型提取的特征组成；

所述增强记忆内存通过采用各个下游数据样本作为查询，从所述外部记忆内存中检索知识，将检索到的知识作为键值存储在所述增强记忆内存中，每个键值相对应的值由相应查询的标签生成文本特征。

4.根据权利要求1所述的基于知识关系检索增强方法，其特征在于，所述将检索到的知识作为检索查询，从所述增强记忆内存中检索语义文本特征，包括：

将检索到的知识作为检索查询，与所述增强记忆内存中的各个键值进行相似度比较，得到相似度矩阵；

根据所述相似度矩阵，从所述增强记忆内存中得到检索出的有效的语义文本特征。

5.根据权利要求4所述的基于知识关系检索增强方法，其特征在于，所述相似度的计算公式如下所示：

其中，i表示样本索引，p和q分别表示Q和K的索引。

6.一种基于知识关系检索增强模型，其特征在于，包括：记忆内存构建模块、知识关系检索模块以及图像特征增强模块；

所述记忆内存构建模块包括外部记忆内存构建模块和增强记忆内存构建模块，所述记忆内存构建模块用于分别构建外部记忆内存、增强记忆内存；

所述知识关系检索模块包括第一检索模块和第二检索模块，所述第一检索模块用于在所述外部记忆内存中检索知识，并将检索到的知识作为在所述增强记忆内存中的检索查询；所述第二检索模块用于在所述增强记忆内存中的检索语义文本特征；

所述图像特征增强模块用于根据所述语义文本特征和原始图像特征，获得图像分类的最终增强特征；并基于最终增强特征，对原始图像特征进行增强。

7.根据权利要求6所述的基于知识关系检索增强模型，其特征在于，所述外部记忆内存模块通过利用在大规模数据集预训练的视觉编码器，对大规模数据集提取图像特征。

8.根据权利要求7所述的基于知识关系检索增强模型，其特征在于，在对大规模数据集提取图像特征之后，提取的图像特征作为知识存储在所述外部记忆内存模块中。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述的基于知识关系检索增强方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一所述的基于知识关系检索增强方法。