[发明专利]基于翻译的多模态建模方法及其在商品检索中的应用有效
| 申请号： | 201810636653.7 | 申请日： | 2018-06-20 |
| 公开（公告）号： | CN108829847B | 公开（公告）日： | 2020-11-17 |
| 发明（设计）人： | 郭洋洋;程志勇;聂礼强;许信顺 | 申请（专利权）人： | 山东大学 |
| 主分类号： | G06F16/9535 | 分类号： | G06F16/9535;G06K9/62;G06Q30/06 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 黄海丽 |
| 地址： | 250061 *** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了基于翻译的多模态建模方法及其在商品检索中的应用，包括：对所有商品构建正相关数据集和负相关数据集；建立多模态特征空间，于多模态特征空间得到每个商品最终的视觉特征的隐含表示和文本特征的隐含表示；将每个商品最终的视觉特征的隐含表示和文本特征的隐含表示进行融合，得到每个商品的融合后的隐含表示；基于翻译模型的转换矩阵将隐含表示映射到隐空间中，得到映射后的每个商品的隐表示向量；将新查询文本利用基于翻译模型的转换矩阵映射到隐空间中，计算新查询文本对应的商品的隐表示向量与每个商品的隐表示向量之间的距离；将距离按照从小到大排序，将排序靠前的设定个商品作为商品检索结果输出。 | ||
| 搜索关键词： | 基于 翻译 多模态 建模 方法 及其 商品 检索 中的 应用 | ||
【主权项】：
1.基于多模态购物偏好的商品检索方法，其特征是，包括：步骤(1)：对所有商品构建正相关数据集和负相关数据集；步骤(2)：建立多模态特征空间，包括：建立视觉特征空间和建立文本特征空间；基于多模态特征空间得到每个商品最终的视觉特征的隐含表示和文本特征的隐含表示；步骤(3)：将每个商品最终的视觉特征的隐含表示和文本特征的隐含表示进行融合，得到每个商品的融合后的隐含表示；将每个商品融合后的隐含表示输入到全连接神经网络进行视觉特征和文本特征的交互，将交互结果、用户唯一标识和用户查询文本分别利用基于翻译模型的转换矩阵映射到隐空间中，得到映射后的每个商品的隐表示向量、用户唯一标识表示向量和用户查询文本表示向量；步骤(4)：将用户新查询文本和新查询文本对应的新查询用户唯一标识分别利用基于翻译模型的转换矩阵映射到隐空间中，得到映射后的新查询用户唯一标识表示向量和用户新查询文本表示向量；基于映射后的新查询用户唯一标识表示向量和用户新查询文本表示向量，得到新查询文本对应的商品的隐表示向量；计算新查询文本对应的商品的隐表示向量与步骤(3)中每个商品的隐表示向量之间的距离；将距离按照从小到大排序，将排序靠前的设定个商品作为商品检索结果输出。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东大学，未经山东大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810636653.7/，转载请声明来源钻瓜专利网。
