[发明专利]基于语义结构表示的视觉文本嵌入方法

摘要

本发明属于人工智能技术领域，具体为一种基于语义结构表示的视觉文本嵌入方法。本发明方法的步骤包括：训练阶段，使用场景图解析对句子解析成物体集与关系集，将句子的成分嵌入融入句子的嵌入表示中，结合图片训练模型参数；在线查询阶段根据已训练好的模型可对于任意图片得到其嵌入表示，对于任意句子，则使用同样的场景图解析后得到句子的嵌入表示。本发明方法能够使得学习到的嵌入同时包含全局与局部的语义信息，并对局部表达更敏感更鲁棒。

主权项

1.一种基于语义结构表示的视觉文本嵌入方法，其特征在于，具体步骤如下：(1)训练阶段，根据句子‑图片对数据训练神经网络模型参数；(2)在线查询阶段，根据已训练好的模型计算给定句子的嵌入表示；(3)在线查询阶段，根据已训练好的模型计算给定图片的嵌入表示；其中，训练阶段，根据句子‑图片对数据训练神经网络模型参数操作流程如下：(1)定义物体语义编码器f_O，对应的参数为W_O，从[‑θ,θ]的均匀分布中对每个元素进行初始化，其中，θ是一个预先设定的正常数；(2)定义循环神经网络f_RNN，对应的参数为W_RNN，从[‑θ,θ]的均匀分布中对每个元素进行初始化，其中，θ是一个预先设定的正常数；(3)定义卷积神经网络f_CNN，对应的参数为W_CNN，使用在ImageNet数据集上预训练的参数进行初始化；(4)对于句子S，使用场景图解析工具解析成物体集关系集(5)对于句子S中的物体集中的一个物体o，使用f_O对其进行编码，得到物体o的嵌入表示u_o；(6)对于句子S中的关系集中的一个(主语—关系词—宾语三元组)关系r，使用f_RNN对其进行编码，得到关系r的嵌入表示u_r；(7)通过对句子S中的所有物体与关系的嵌入表示进行求和，得到句子的成分嵌入：(8)对于句子S，使用f_R直接对其编码，得到句子的嵌入u_S；(9)通过α·u_S+(1‑α)·u_comp计算句子的语义嵌入u，α是一个预先设定的位于[0,1]的正常数；(10)对于图片I，使用f_CNN进行编码，得到图片的嵌入v；(11)对于一对匹配的图片‑句子对(I⁺,S⁺)，执行步骤(4)—(9)，得到图片与句子的嵌入(v⁺,u⁺)；(12)对于一句与图片I⁺不匹配的句子S^‑，执行步骤(4)—(9)，得到句子S^‑的嵌入u^‑；(13)对于一张与句子S⁺不匹配的图片I^‑，执行步骤(10)得到图片I^‑的嵌入v^‑；(14)计算双向排序损失函数：(15)根据双向排序损失函数，使用反向传播算法计算网络每个参数的梯度(16)使用基于随机梯度下降的优化算法更新模型参数W_O,W_RNN,W_CNN；(17)重复步骤(11)—(14)，直至目标函数收敛，将此时的所有参数作为模型的最终参数。