[发明专利]一种商品聚合并计算相似度的方法

说明书

本发明公开了一种商品聚合并计算相似度的方法，包括：离线收集多商城商品spu或者sku的商品标题信息；对所述商品标题信息进行规范化整理，离线得到所有数据中每个词语的词向量模型；离线构建数据集中每个商品标题的文本向量，并将文本向量存储；存储商品的具体所属多级分类信息、所属品牌、所属商城的信息；在线得到商品标题信息，构建商品标题文本向量；将库内的商品及文本向量根据条件进行筛选，与在线得到的商品文本向量计算相似度；本专利通过构建文本向量方式来达到比较不同商品文本信息的目的，根据文本向量之间的相似度，在多商城多平台上锁定一批相似的商品，从而为用户实现了多维度的商品比较与聚类，节省了时间成本与人力成本。

技术领域

本发明涉及机器学习领域，特别涉及一种商品聚合并计算相似度的方法。

背景技术

近年来随着电子商务的发展，各大电商平台发展如火如荼，不同的spu与sku在不同的电商平台上都会进行不同的文字包装来进行个性化销售，由于商品数量级巨大，导致我们在拿到这些各大平台的商品信息后，很难进行一些商品的比对与聚合工作，比如不同平台同一spu下的sku聚合展示，又或者是想找到相似商品来进行价格、销售属性的多维度比对，同一spu在不同平台的差异化展示等等，面对海量的商品信息，会显得无所适从。尤其是面对多商城同一商品的时候，由于不同商城都有自己的文字包装规则，会使得工作的难度进一步提升。

公开号为CN110363251A的专利，提供的一种SKU图像分类方法，利用SPU匹配方法聚合同款SPU的SPU图像；其中，任一款SPU包括至少两种SKU；将各个SKU图像中SKU所在区域作为mask；其中，各个SKU图像均包含于同一款SPU对应的SPU图像；根据各个mask确定对应的颜色信息，并计算各个SKU图像之间的颜色距离；若颜色距离小于预设阈值，则确定对应的两个SKU图像为同种SKU图像。

公开号为CN109754295A的专利，公开了一种用于输出信息的方法和装置，包括：接收待筛选的物品的属性信息，其中，属性信息包括类别；确定与类别匹配的至少一个候选物品；获取至少一个候选物品中每个候选物品的属性信息，并组成候选属性信息集合；确定候选属性信息集合中每个候选属性信息与物品的属性信息之间的相似度，得到相似度集合；若相似度集合中的每个相似度小于预定相似度阈值，则将物品的属性信息添加到候选属性信息集合中，并输出添加后的候选属性信息集合。

公开号为CN103257977B的专利，公开了一种获取标识号码的方法及装置，包括，获取字符表中的M各字符，并采用哈希算法对由M个字符构成的一个或多个字符组进行计算，以生成一个或多个字符哈希值，读取一个或多个数据，并采用相同的哈希算法对每个数据进行计算，以生成一个或多个数据哈希值，在每个数据哈希值分别匹配到一个字符哈希值之后，根据匹配得到的字符哈希值来获取每个数据的标识号码。

目前想实现这些目标，需要很大程度上依赖于人力成本的投入，依靠人在商品信息中提取出所描述的商品是什么。如果是在同一商城下，可以根据商品url链接中的独有id来判断是否属于同一spu，对于多商城来源的商品，没有很好的方法来实现。

因此，本专利使用自然语言技术对同一商城或不同商城的商品信息进行分析，找到易于聚合的方法，并能进一步给出商品之间的相似度作为参考。

发明内容

本发明实施例提供了一种商品聚合并计算相似度的方法。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明实施例，提供了一种商品聚合并计算相似度的方法，包括：

S1：离线收集多商城商品spu或者sku的商品标题信息；

S2：对所述商品标题信息进行规范化整理，利用自然语言处理中的word2vec技术离线得到所有数据中每个词语的词向量模型；