[发明专利]学者网多模态检索模型的训练方法、系统和存储介质

说明书

本发明公开了一种学者网多模态检索模型的训练方法、系统和存储介质，可广泛应用于检索技术领域。本发明方法通过将爬取的多个包括图文数据和第一文本数据的用户数据输入到数据适应模块内，以得到预训练模块能够接收的连续特征向量，接着将连续特征向量输入到预训练模块后，得到高阶语义信息特征向量，再通过非线性迁移模块根据高阶语义信息特征向量，计算得到图文数据和第一文本数据的预测相似度，再将预测相似度与真实相似度来调节学者网多模态检索模型的参数，从而可以使学者网多模态检索模型的参数能够达到学者网数据检索的较佳效果，以有效提高学者网数据检索结果的准确度。

技术领域

本发明涉及检索技术领域，尤其是一种学者网多模态检索模型的训练方法、系统和存储介质。

背景技术

相关技术中，在常见的多模态数据中，图像往往对应于该图像的文字描述，即图像与文字具有相当强的底层语义关联关系。但是，在学术网站上收集起来的数据集，一般具有较弱的图文语义对应关系，更偏向于人的活动而非图文在细节上的对应，同时数据的噪声也比较大。相对于已有的图文数据集，学者网里面的文本会更加常，会更加以文本为主，而且不是用来对图像进行具体的描述。因此，基于学者网的多模态数据的分布与已有的数据集分布是不同的，导致使用现有的预训练模块当初始化参数，再使用少量的下游数据进行微调的方式，再使用少量下游数据进行微调的方式，难以提高检索结果的准确度。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种学者网多模态检索模型的训练方法、系统和存储介质，能够有效提高学者网数据检索结果的准确度。

一方面，本发明实施例提供了一种学者网多模态检索模型的训练方法，所述学者网多模态检索模型包括数据适应模块、预训练模块和非线性迁移模块，所述训练方法包括以下步骤：

爬取学者网的多个用户数据，所述用户数据包括图文数据和第一文本数据；

将所述用户数据输入到所述数据适应模块，得到连续特征向量；

将所述连续特征向量输入到所述预训练模块，得到高阶语义信息特征向量；

将所述高阶语义信息特征向量输入到所述非线性迁移模块，计算所述图文数据和所述第一文本数据的预测相似度；

获取所述图文数据和所述第一文本数据的真实相似度；

根据所述预测相似度和所述真实相似度调节所述学者网多模态检索模型的参数。

在一些实施例中，所述数据适应模块包括线性嵌入层和文字提取层；所述将所述用户数据输入到所述数据适应模块，得到连续特征向量，包括：

将所述第一文本数据输入所述线性嵌入层，得到第一文本连续特征向量；

将所述图文数据输入所述文字提取层，得到第二文本数据；

将所述第二文本数据输入到所述线性嵌入层，得到第二文本连续特征向量。

在一些实施例中，所述预训练模块包括文本特征提取器和视觉特征提取器；所述将所述连续特征向量输入到所述预训练模块，得到高阶语义信息特征向量，包括：

将所述第一文本连续特征向量输入所述文本特征提取器，得到第一文本高阶语义信息特征向量；以及将第二文本连续特征向量输入所述文本特征提取器，得到第二文本高阶语义信息特征向量；

将所述图文数据输入所述视觉特征提取器，得到图像高阶语义信息特征向量。

在一些实施例中，所述将所述高阶语义信息特征向量输入到所述非线性迁移模块，计算所述图文数据和所述第一文本数据的预测相似度，包括：

将所述第一文本高阶语义信息特征向量和所述图像高阶语义信息特征向量输入到所述非线性迁移模块，得到第一相似度；