[发明专利]一种商品相似度判定模块贡献量化方法及系统

说明书

本发明是关于一种商品相似度判定模块贡献量化方法及系统。该方法包括：从数据源获取商品数据，对其中的异常数据进行清洗，将非标准化数据进行标准化处理，并将商品数据按照商品品类进行存储；对清洗后的商品数据进行抽样，作为样本数据集；使用至少两个不同类型的判定模块对样本数据集进行相似度判定，记录各个判定模块在单独使用和组合使用的情况下判断正确的个数；根据记录的个数计算各个判定模块的Shapley值，作为各个判定模块的贡献量化值。本发明提供的技术方案，以商品品类为数据粒度，提供各个判定模块的贡献量化值，据此能够更加合理的对各个判定模块的研发资源投入进行差异化的预算分配，使得整体的投入产出呈现最优状态。

技术领域

本发明涉及数据科学，具体属于运筹学领域。

背景技术

随着电商领域的快速发展与繁荣，线上消费成为大众购买商品的主流方式。对比传统的线下购物方式，线上模式可以让消费者花费极小的成本对比不同电商平台的商品，做到真正意义上的“货比三家”。为了满足消费者对比不同电商平台相同商品的需求，需要对多电商平台的商品进行相似度对比，把判定为相同的商品聚合到一起进行存储。电商平台中，反映商品信息的一个常用概念是SPU(Standard Product Unit,标准产品单位)和SKU(Stock keeping Unit,库存量单位)，SPU是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性，SKU即库存进出计量的单位，是物理上不可分割的最小存货单元。例如，手机品类下，SPU“iPhone12”下有“蓝色/64G”、“红色/64G”等多个不同SKU的商品。一个常见的任务场景是对多电商平台的相同SPU的商品进行相似度判断，聚合相同SKU的商品。

电商商品进行相似度判断主要可以利用页面中三个部分的信息：商品标题、商品属性、商品图片。针对这三部分的信息，目前开发了三个对应的相似度判断模块：标题判定模块、属性判定模块、图片判定模块。现有的技术方案没有对标题判定模块、属性判定模块、图片判定模块的贡献进行差异化的评估，针对不同的商品分类均使用相等贡献的假设，即将三个判定模块的贡献值假设为1:1:1。这样的评估方案缺乏科学性与有效性，没有对具体商品分类进行差异化的评估，无法实现研发资源预算投入与收益的最优化。

发明内容

为克服相关技术中存在的问题，本发明提供一种商品相似度判定模块贡献量化方法及系统，能够科学有效的量化评估各个判定模块在不同商品分类中的贡献，实现了以商品品类为数据粒度的差异化的贡献量化，对科学分配研发资源与预算具有指导意义。

根据本发明实施例的第一方面，提供一种商品相似度判定模块贡献量化方法，包括：

第一步：从数据源获取商品数据，对其中的异常数据进行清洗，将非标准化数据进行标准化处理，并将商品数据按照商品品类进行存储；

第二步：对清洗后的商品数据进行抽样，作为样本数据集；

第三步：使用至少两个不同类型的判定模块对样本数据集进行相似度判定，记录各个判定模块在单独使用和组合使用的情况下判断正确的个数；

第四步：根据记录的个数计算各个判定模块的Shapley值，作为各个判定模块的贡献量化值。

进一步，对清洗后的商品数据进行抽样，作为样本数据集，具体包括：

抽取第一组数据集，每组内包含2个相同SPU下相同SKU的商品；抽取第二组数据集，每组内包含2个相同SPU下不同SKU的商品；将所述第一组数据集和所述第二组数据集作为样本数据集，其中，所述第一组数据集和所述第二组数据集中的商品的组数相同。

进一步，所述判定模块包括标题判定模块、属性判定模块和图片判定模块；

所述使用至少两个不同类型的判定模块对样本数据集进行相似度判定，记录各个判定模块在单独使用和组合使用的情况下判断正确的个数，具体包括：