[发明专利]基于商品好评和差评率的无监督异常商品数据检测方法

说明书

本发明公开了一种基于商品好评和差评率的无监督异常商品数据检测方法，主要解决在网上商城中出现的异常商品数据检测准确性不高的问题。其实现方案是：确定检测异常商品的数据类型；对于异常高评分商品的检测，首先计算每个商品的好评率；再计算经过差分算子后商品的差分好评率；最后确定异常高评分商品；对于异常低评分商品的检测，首先计算每个商品的差评率；再计算经过缩放算子后商品的缩放差评率；最后确定异常低评分商品。本发明对于两种异常商品数据检测场景提出了两个计算指标和两个操作算子，能够更加精准的检测出异常商品，帮助系统维护人员尽早发现有问题的商品，及时删除异常数据，可用于网上商城对异常商品数据的检测维护系统的稳定。

技术领域

本发明属于检测技术领域，特别涉及一种异常商品数据的检测方法，可用于网上商城对异常商品数据的检测，维护网上商城系统的稳定性。

背景技术

随着信息技术和互联网的迅速发展，网络购物成为越来越多的人购买商品的第一选择。部分商家为了增加自己商品的曝光率提高商品的销量，会通过返现、奖励等方式促使用户给予商品好评，即打高分，甚至为了打压竞争对手的商品，直接雇佣用户恶意对竞争对手的商品给予差评，即打低分。比如，国内网上购物网站淘宝，为书籍、电影和音乐提供推荐和评论的社区网站豆瓣网，以及国外网上购物网站eBay等知名电子商务网站，在系统中均发现存在有这些现象。这种异常商品数据，会极大程度的影响系统的稳定性，从而影响用户的使用体验，甚至导致用户放弃使用。因此，及时有效的检测出系统中的异常商品数据，帮助系统维护人员尽早发现有问题的商品，及时删除异常数据，维护系统的稳定性，就显得尤为重要。

根据Burke Robin等人发表的论文“Robust collaborative recommendation”(Recommender Systems Handbook，页码编号：805-835，2015)所述。目前，基于聚类的KNN方法或者基于决策树的C4.5方法是两种比较经典和常用的异常数据检测方法。基于聚类的KNN方法，直接利用原始数据进行聚类，将异常数据与非异常数据聚为不同的类别，从而完成检测。这种方法由于是一种无监督方法，因而不需要预先训练，简单有效。但是又由于他直接利用了商品的评分信息，对于商品的最高分和最低分打分情况没有进行定量的分析，因此用于异常商品数据的检测准确率不高。基于决策树的C4.5方法，直接利用数据构建决策树，从而完成异常数据的区分和检测。虽然，通常情况下它的检测准确率要高于基于聚类的KNN方法，但是该方法是有监督模型，需要预先人为构造一定量的虚假数据来训练模型，才能完成检测。然而人为构造的数据往往与真实情况具有很大的差距，难以模拟出真实系统中复杂的情况，因此该方法在实际系统中的使用受到了一定的限制。

发明内容

本发明的目的在于提出一种基于商品好评和差评率的无监督异常商品数据检测方法，以解决现有技术因缺少对于商品打分情况进行定量分析而造成检测准确性低的问题，以及需要预先人为构造一定量的虚假数据才能进行检测的限制问题。

本发明的技术思路是，在异常高评分商品的检测过程中，定义好评率指标来量化商品获得高评分的情况，定义差分算子操作来消除数据中的噪声，凸显异常高评分商品的好评率数据，从而提升异常商品的检测准确度。在异常低评分商品的检测过程中，定义差评率指标来量化商品获得低评分的情况，定义缩放算子操作来克服数据的幂律分布特性，凸显异常低评分商品的差评率数据，从而提升异常商品的检测准确度。其实现步骤包括如下：

(1)录入数据：

根据电子商务网站中用户对商品的评分记录，提取每个商品的评分数据，用提取数据中的所有商品构成商品集合O＝{o₁,o₂,....,o_i,...,o_m}，用提取数据中的所有用户构成用户集合U＝{u₁,u₂,...,u_j,...,u_n}，其中o_i表示第i个商品，i从1到m，m为商品的总数目，u_j表示第j个用户，j从1到n，n为用户的总数目；