[发明专利]基于翻译的多模态建模方法及其在商品检索中的应用

权利要求书

1.基于翻译的多模态建模方法，其特征是，包括：

步骤(1)：对所有商品构建正相关数据集和负相关数据集；

步骤(2)：建立多模态特征空间，包括：建立视觉特征空间和建立文本特征空间；基于多模态特征空间得到每个商品最终的视觉特征的隐含表示和文本特征的隐含表示；

步骤(3)：将每个商品最终的视觉特征的隐含表示和文本特征的隐含表示进行融合，得到每个商品的融合后的隐含表示；将每个商品融合后的隐含表示输入到全连接神经网络进行视觉特征和文本特征的交互，将交互结果、用户唯一标识和用户查询文本分别利用基于翻译模型的转换矩阵映射到隐空间中，得到映射后的每个商品的隐表示向量、用户唯一标识表示向量和用户查询文本表示向量；

步骤(4)：将用户新查询文本和新查询文本对应的新查询用户唯一标识分别利用基于翻译模型的转换矩阵映射到隐空间中，得到映射后的新查询用户唯一标识表示向量和用户新查询文本表示向量；基于映射后的新查询用户唯一标识表示向量和用户新查询文本表示向量，得到新查询文本对应的商品的隐表示向量；计算新查询文本对应的商品的隐表示向量与步骤(3)中每个商品的隐表示向量之间的距离；将距离按照从小到大排序，将排序靠前的设定个商品作为商品检索结果输出；

得到映射后的每个商品的隐表示向量、用户唯一标识表示向量和用户查询文本表示向量的具体步骤为：将用户唯一标识表示用户查询文本表示和商品的隐表示向量c_T，分别作为输入向量x输入到X＝φ(W_Tx+b_T)，得到三元组的表示(u，q，e)，即将用户唯一标识、用户查询文本和商品的隐表示映射到同一空间中；其中，W_T为转换矩阵，b_T为偏置，φ为非线性激活函数；(u+q)-e≤θ，θ为设定阈值；u为映射后的用户唯一标识表示向量；q为映射后的用户查询文本的表示向量；e为映射后的商品隐表示向量。

2.如权利要求1所述的基于翻译的多模态建模方法，其特征是，

所述正相关数据集，包括：商品图片和商品评论；所述商品是指：所有用户在查看完当前商品后，同时查看的同类型的其他所有商品；和所有用户在购买当前商品前，查看的同类型的其他所有商品；

所述负相关数据集，包括：与当前商品类型相同，但是不在正相关数据集中商品。

3.如权利要求1所述的基于翻译的多模态建模方法，其特征是，

所述建立视觉特征空间的具体步骤为：

获取当前商品视觉特征的隐含表示；

获取与当前商品正相关的正相关商品视觉特征的隐含表示；

获取与当前商品负相关的负相关商品视觉特征的隐含表示；

对得到的当前商品的视觉特征隐含表示、正相关商品的视觉特征隐含表示、负相关商品的视觉特征隐含表示，加以约束；对约束进行求解，得到当前商品最终的视觉特征的隐含表示；同理，得到每个商品最终的视觉特征的隐含表示。

4.如权利要求1所述的基于翻译的多模态建模方法，其特征是，

所述建立文本特征空间的具体步骤为：

获取当前商品文本特征的隐含表示；

获取与当前商品正相关的正相关商品文本特征的隐含表示；

获取与当前商品负相关的负相关商品文本特征的隐含表示；

对得到的当前商品的文本特征隐含表示、正相关商品的文本特征隐含表示、负相关商品的文本特征隐含表示，加以约束；对约束进行求解，得到当前商品最终的文本特征的隐含表示；同理，得到每个商品最终的文本特征的隐含表示。