[发明专利]学者网多模态检索模型的训练方法、系统和存储介质

权利要求书

1.一种学者网多模态检索模型的训练方法，其特征在于，所述学者网多模态检索模型包括数据适应模块、预训练模块和非线性迁移模块，所述训练方法包括以下步骤：

爬取学者网的多个用户数据，所述用户数据包括图文数据和第一文本数据；

将所述用户数据输入到所述数据适应模块，得到连续特征向量；

将所述连续特征向量输入到所述预训练模块，得到高阶语义信息特征向量；

将所述高阶语义信息特征向量输入到所述非线性迁移模块，计算所述图文数据和所述第一文本数据的预测相似度；

获取所述图文数据和所述第一文本数据的真实相似度；

根据所述预测相似度和所述真实相似度调节所述学者网多模态检索模型的参数。

2.根据权利要求1所述的一种学者网多模态检索模型的训练方法，其特征在于，所述数据适应模块包括线性嵌入层和文字提取层；所述将所述用户数据输入到所述数据适应模块，得到连续特征向量，包括：

将所述第一文本数据输入所述线性嵌入层，得到第一文本连续特征向量；

将所述图文数据输入所述文字提取层，得到第二文本数据；

将所述第二文本数据输入到所述线性嵌入层，得到第二文本连续特征向量。

3.根据权利要求2所述的一种学者网多模态检索模型的训练方法，其特征在于，所述预训练模块包括文本特征提取器和视觉特征提取器；所述将所述连续特征向量输入到所述预训练模块，得到高阶语义信息特征向量，包括：

将所述第一文本连续特征向量输入所述文本特征提取器，得到第一文本高阶语义信息特征向量；以及将第二文本连续特征向量输入所述文本特征提取器，得到第二文本高阶语义信息特征向量；

将所述图文数据输入所述视觉特征提取器，得到图像高阶语义信息特征向量。

4.根据权利要求3所述的一种学者网多模态检索模型的训练方法，其特征在于，所述将所述高阶语义信息特征向量输入到所述非线性迁移模块，计算所述图文数据和所述第一文本数据的预测相似度，包括：

将所述第一文本高阶语义信息特征向量和所述图像高阶语义信息特征向量输入到所述非线性迁移模块，得到第一相似度；

将所述第一文本高阶语义信息特征向量和所述第二文本高阶语义信息特征向量输入到所述非线性迁移模块，得到第二相似度；

根据所述第一相似度和所述第二相似度，计算预测相似度。

5.根据权利要求4所述的一种学者网多模态检索模型的训练方法，其特征在于，所述非线性迁移模块包括全连接层、BN层和ReLU层。

6.根据权利要求2所述的一种学者网多模态检索模型的训练方法，其特征在于，在所述将所述第一文本数据输入所述线性嵌入层之前，所述方法还包括以下步骤：

通过中文分词工具将所述第一文本数据转换为单词文本。

7.根据权利要求2所述的一种学者网多模态检索模型的训练方法，其特征在于，所述文字提取层包括OCR模块。

8.一种学者网多模态检索模型的训练系统，其特征在于，所述学者网多模态检索模型包括数据适应模块、预训练模块和非线性迁移模块，所述系统包括：

爬取模块，用于爬取学者网的多个用户数据，所述用户数据包括图文数据和第一文本数据；

第一数据处理模块，用于将所述用户数据输入到所述数据适应模块，得到连续特征向量；

第二数据处理模块，用于将所述连续特征向量输入到所述预训练模块，得到高阶语义信息特征向量；

计算模块，用于将所述高阶语义信息特征向量输入到所述非线性迁移模块，计算所述图文数据和所述第一文本数据的预测相似度；

获取模块，用于获取所述图文数据和所述第一文本数据的真实相似度；

调节模块，用于根据所述预测相似度和所述真实相似度调节所述学者网多模态检索模型的参数。