[发明专利]多模态的商品搜索方法及装置、存储介质、计算机设备

说明书

本申请公开了一种多模态的商品搜索方法及装置、存储介质、计算机设备，该方法包括：响应于商品搜索指令，获取所述商品搜索指令对应的商品搜索词，并确定所述商品搜索词对应的搜索语义特征；获取候选商品对应的候选商品图文融合特征，所述候选商品图文融合特征通过预训练的特征融合模型对所述候选商品对应的候选商品文本和候选商品图片进行融合预测获得；通过预训练的商品匹配模型获取所述搜索语义特征与所述候选商品图文融合特征之间的相似度，并基于所述相似度对所述候选商品进行排序，确定搜索结果。本申请在进行搜索召回时充分利用了商品的多模态信息，解决了商品命名不规范、不统一导致搜索召回效果差的问题，提升了搜索召回的准确性。

技术领域

本申请涉及数据搜索技术领域，尤其是涉及到一种多模态的商品搜索方法及装置、存储介质、计算机设备。

背景技术

随着互联网和计算机技术的不断发展，电子商务平台也越来越成熟，成为了广大用户购物、外卖的重要途径。搜索召回阶段是整个电子商务平台搜索的基础，召回深度与质量决定了排序以及整个搜索引擎的上限。以外卖平台为例，由于餐饮商户商品的非标品属性、早期业务发展过快导致商户商品上线没有统一的命名规范、相同商品的差异性表述等因素，导致商品名称文本的指代含义并不统一，对基于文本的关键词匹配、标签匹配造成了很大的挑战。目前电子商务平台的搜索准确性有待提高。

发明内容

有鉴于此，本申请提供了一种多模态的商品搜索方法及装置、存储介质、计算机设备，在进行搜索召回时充分利用了商品的多模态信息，使得搜索召回阶段不再依赖于商品的名称等文本信息，解决了商品命名不规范、不统一导致搜索召回效果差的问题，提升了搜索召回的准确性，提高了用户体验。

根据本申请的一个方面，提供了一种多模态的商品搜索方法，所述方法包括：

响应于商品搜索指令，获取所述商品搜索指令对应的商品搜索词，并确定所述商品搜索词对应的搜索语义特征；

获取候选商品对应的候选商品图文融合特征，其中，所述候选商品图文融合特征通过预训练的特征融合模型对所述候选商品对应的候选商品文本和候选商品图片进行融合预测获得；

通过预训练的商品匹配模型获取所述搜索语义特征与所述候选商品图文融合特征之间的相似度，并基于所述相似度对所述候选商品进行排序，确定搜索结果。

可选地，所述获取候选商品对应的候选商品图文融合特征之前，所述方法还包括：

采样第一样本商品对应的第一样本商品文本和第一样本商品图片，并基于所述第一样本商品文本和所述第一样本商品图片确定商品图文正样本；

采样第二样本商品对应的第二样本商品文本以及第三样本商品对应的第三样本商品图片，并基于所述第二样本商品文本和所述第三样本商品图片确定商品图文负样本，其中，所述第二样本商品与所述第三样本商品所属的类目不同；

通过所述商品图文正样本和所述商品图文负样本对初始图文融合模型进行训练，获取所述图文融合模型。

可选地，所述初始图文融合模型包括文本特征提取模块、图片特征提取模块以及图文匹配模块；所述文本特征提取模块用于提取文本特征；所述图片特征提取模块用于按预设图片切割规则进行图片切割，提取切割得到的多个子图片各自的子图片特征，并将所述子图片特征拼接为图片特征；所述图文匹配模块用于基于文本特征和图片特征进行图文匹配；

所述通过所述商品图文正样本和所述商品图文负样本对初始图文融合模型进行训练，获取所述图文融合模型，包括：

通过所述商品图文正样本和所述商品图文负样本对初始图文融合模型进行训练，并基于训练后的文本特征提取模块、训练后的图片特征提取模块以及预设特征拼接模块，确定所述图文融合模型，其中，所述预设特征拼接模块用于拼接文本特征和图片特征。