[发明专利]跨媒体检索及模型训练方法、装置、设备、菜谱检索系统

权利要求书

1.一种跨媒体检索模型训练方法，其特征在于，包括：

对训练样本集的每组训练样本，分别获取当前组训练样本中的图像样本的目标特征、图像特征和文本样本的语义特征、文本特征，并基于所述文本样本确定所述目标特征与所述语义特征之间的关联关系；所述语义特征中包括所述目标特征；所述目标特征为图像样本中包含有相对应文本样本中指定信息的图像块的识别信息；所述语义特征为通过直接提取文本样本所得到的特征；所述文本特征为融合所述目标特征和所述语义特征得到的特征；

将每组训练样本的图像特征输入图文检索模型中的图像编码网络、文本特征输入至所述图文检索模型中的文本编码网络中，训练所述图文检索模型；

其中，所述文本样本仅包括一类文本数据；所述文本编码网络为异质图结构，其异构节点包括目标特征和语义特征，其连接边由目标特征与语义特征之间的关联关系确定；

其中，所述基于所述文本样本确定所述目标特征与所述语义特征之间的关联关系，包括：

对所述目标特征的每个文本词组或文本单词，依次遍历所述文本样本的每个文本语句；

若当前文本语句所包含的目标词组与当前文本词组相同，则所述当前文本语句对应的节点与所述当前文本词组对应的节点具有连接关系；

若所述当前文本语句所包含的目标单词与当前文本单词相同，则所述当前文本语句对应的节点与所述当前文本单词对应的节点具有连接关系。

2.根据权利要求1所述的跨媒体检索模型训练方法，其特征在于，所述获取当前组训练样本中的图像样本的目标特征、图像特征和文本样本的语义特征、文本特征，包括：

预先利用在图像中标注相应目标特征的目标训练样本集，训练得到目标识别网络；

将所述当前组训练样本中的图像样本输入至所述目标识别网络中，得到所述图像样本所包含的各目标特征。

3.根据权利要求2所述的跨媒体检索模型训练方法，其特征在于，所述利用在图像中标注相应目标特征的目标训练样本集之后，所述训练得到目标识别网络之前，还包括：

预先构建目标识别网络结构，所述目标识别网络结构包括输入层、卷积结构、池化层及分类器；

所述卷积结构包括基础运算组件和残差运算组件；所述基础运算组件用于对输入信息依次进行卷积处理、正则化处理、激活函数处理及最大池化处理；所述残差运算组件包括多个相连的残差块，每个残差块均包括多层卷积层，用于对所述基础运算组件的输出特征进行卷积计算；

所述池化层，用于将所述卷积结构的输出特征转化为目标特征向量，并输送至所述分类器；

所述分类器，用于通过对所述目标特征向量进行计算，并输出所属类别的概率。

4.根据权利要求1所述的跨媒体检索模型训练方法，其特征在于，所述获取当前组训练样本中的图像样本的目标特征、图像特征和文本样本的语义特征、文本特征，包括：

预先训练图像编码网络；所述图像编码网络包括特征提取网络和特征融合网络；

将所述当前组训练样本的图像样本输入至所述图像编码网络中；所述图像编码网络利用所述特征提取网络提取所述图像样本中每一张步骤图像的子图像特征，并将各子图像特征输入至所述特征融合网络进行特征编码，以得到所述图像样本的图像特征。

5.根据权利要求4所述的跨媒体检索模型训练方法，其特征在于，所述特征融合网络为长短期记忆神经网络，所述将各子图像特征输入至所述特征融合网络进行特征编码，包括：

调用图像特征编码关系式，对各子图像特征进行处理；所述图像特征编码关系式为：

；

式中，为所述长短期记忆神经网络的第个LSTM单元的输出，LSTM_i为第个LSTM单元，为所述特征提取网络的输出，为所述图像样本的第张步骤图像，为所述长短期记忆神经网络的第个LSTM单元的输出，为所述图像样本所包含的步骤图像的总数。