[发明专利]跨媒体检索及模型训练方法、装置、设备、菜谱检索系统

说明书

本申请公开了一种跨媒体检索模型训练方法及装置、跨媒体检索方法及装置、电子设备、可读存储介质、菜谱检索系统，应用于信息检索领域。其中，方法包括对训练样本集的每组训练样本，分别获取当前训练样本中的图像、文本样本的目标特征、图像特征、语义特征及文本特征，并基于文本样本确定目标特征与语义特征之间的关联关系；将该图像特征和文本特征分别输入图文检索模型中的图像编码网络和文本编码网络中，训练图文检索模型；文本编码网络为异质图结构，其异构节点包括目标特征和语义特征，其连接边由目标特征与语义特征之间的关联关系确定。本申请可有效提升图像数据和文本数据之间的互检索精度。

技术领域

本申请涉及信息检索技术领域，特别是涉及一种跨媒体检索模型训练方法及装置、跨媒体检索方法及装置、电子设备、可读存储介质、菜谱检索系统。

背景技术

跨媒体检索是指用户给定某类媒体格式的查询信息，可以检索出与之语义相关的其他类型媒体格式的信息，也即基于一种媒体格式的数据，检索到同一应用场景或是同一目标物的某几类媒体格式的数据，媒体格式数据例如可为图像数据、文本数据、音频数据、视频数据等。举例来说，检索固态硬盘的说明信息时，可基于描述该固态硬盘的结构及相关参数的文本数据，检索到采用图片形式给出固态硬盘的内部结构图并附相应文字说明的图像数据。

相关技术在进行图像文本互检索过程中，通常采用构建特征提取网络实现，也即利用特征提取网络分别提取自然图像和电子文本的高阶特征，使用简单的相似度计算公式计算特征间相似性，选取相似度最高的图像文本对，完成相互检索。神经网络拥有多层网络结构，能够提取出数据的高阶特征，常用于文本和图像处理。但是，由于自然图像和电子文本属于不同模态的数据，数据的异质性使得简单的通过深度神经网络进行特征提取难以准确表达图像与文本的语义特征，尤其是对于涉及到先后顺序或者是具有依赖关系的数据，如基于步骤检索的任务中，从而导致图像与文本之间的检索准确度较低。

鉴于此，如何提升图像数据和文本数据之间的互检索精度，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种跨媒体检索模型训练方法及装置、跨媒体检索方法及装置、电子设备、可读存储介质、菜谱检索系统，有效提升图像数据和文本数据之间的互检索精度。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例第一方面提供了一种跨媒体检索模型训练方法，包括：

对训练样本集的每组训练样本，分别获取当前组训练样本中的图像样本的目标特征、图像特征和文本样本的语义特征、文本特征，并基于所述文本样本确定所述目标特征与所述语义特征之间的关联关系；所述语义特征中包括所述目标特征；

将每组训练样本的图像特征输入图文检索模型中的图像编码网络、文本特征输入至所述图文检索模型中的文本编码网络中，训练所述图文检索模型；

其中，所述文本样本仅包括一类文本数据；所述文本编码网络为异质图结构，其异构节点包括目标特征和语义特征，其连接边由目标特征与语义特征之间的关联关系确定。

可选的，所述获取当前组训练样本中的图像样本的目标特征、图像特征和文本样本的语义特征、文本特征，包括：

预先利用在图像中标注相应目标特征的目标训练样本集，训练得到目标识别网络；

将所述当前组训练样本中的图像样本输入至所述目标识别网络中，得到所述图像样本所包含的各目标特征。

可选的，所述利用在图像中标注相应目标特征的目标训练样本集之后，所述训练得到目标识别网络之前，还包括：

预先构建目标识别网络结构，所述目标识别网络结构包括输入层、卷积结构、池化层及分类器；