[发明专利]一种基于异常用户识别的热销商品构建方法和系统

说明书

本发明涉及一种基于异常用户识别的热销商品构建方法和系统，方法步骤为：从用户行为序列数据中提取特征，构建用户特征向量，从而生成训练数据，然后利用训练数据训练孤立森林模型，以识别异常用户；基于消息序列的异常用户实时检测结果，在测试日志数据中对异常用户产生的行为数据进行标注，从而识别异常用户；在使用统计结果更新热销商品池以生成热销商品时，抛弃被标注为异常用户产生的数据，从而构建出热销池名单。本发明剔除了异常用户，从而构建更为准确的热销商品池，可以真实有效地反映出真正的热销商品。

技术领域

本专利申请属于电商系统技术领域，更具体地说，是涉及一种基于异常用户识别的热销商品构建方法和系统。

背景技术

当前电商推荐系统中的商品热销池构建，依赖于商品的浏览量，成交量，转化率等统计数据。由此暴露出的技术缺点是：根据上述统计数据生成热销商品的策略容易受到异常用户的针对性攻击(如刷单，恶意差评，恶意拒收等)，从而影响热销商品的真实性和有效性，加剧商家间的恶意竞争。

发明内容

本发明需要解决的技术问题是提供一种基于异常用户识别的热销商品构建方法和系统，可以真实有效地反映出真正的热销商品。

为了解决上述问题，本发明所采用的技术方案是：

一种基于异常用户识别的热销商品构建方法，包括如下步骤：

步骤a、从用户行为序列数据中提取特征，构建用户特征向量，从而生成训练数据，然后利用训练数据训练孤立森林模型，以识别异常用户；

步骤b、基于消息序列的异常用户实时检测结果，在测试日志数据中对异常用户产生的行为数据进行标注，从而识别异常用户；

步骤c、在使用统计结果更新热销商品池以生成热销商品时，抛弃被标注为异常用户产生的数据，从而构建出热销池名单。

本发明技术方案的进一步改进在于：步骤a中，采用分布式方式训练孤立森林模型，具体训练过程为：

将生成的训练数据随机分成K份，每一份在一台pc机器上使用相同的训练参数训练孤立森林模型，分别得到一个孤立森林模型；

训练完成后，将K个孤立森林模型封装在一起，每一个孤立森林模型都可以对用户打分，打出的分值即是该用户为异常用户的概率，取K个孤立森林模型评分的平均值、中位数值或众位数值作为最终预测评分。

本发明技术方案的进一步改进在于：孤立森林模型包括m个孤立树，每个孤立树均是一个二叉树结构，孤立森林模型的实现步骤如下：(假设训练数据总数为A，则每个孤立森林模型数据量为A/K/m)

步骤a1.从一份训练数据中随机选择x个样本点作为下采样subsample，放入树的根节点；

步骤a2.随机指定一个维度attribute，在当前节点数据中随机产生一个切割点p，切割点p产生于当前节点数据中指定维度attribute的最大值和最小值之间；

步骤a3.以此切割点p生成一个超平面，然后将当前节点数据空间划分为2个子空间：把指定维度里小于p的数据放在当前节点的左孩子，把大于等于p的数据放在当前节点的右孩子；

步骤a4.在孩子节点中递归步骤a2和步骤a3，不断构造新的孩子节点，直到孩子节点中只有一个数据无法再继续切割或孩子节点已到达限定高度.最终获得m个孤立树，训练结束，用以评估测试数据的孤立森林模型生成成功。

本发明技术方案的进一步改进在于：识别异常用户的具体过程为：

对于一个测试日志数据y，令其遍历每一棵孤立树，然后计算y最终落在每棵孤立树的第几层，也就是y处在树的高度值，进而可以得出y在每棵树的高度平均值；(即theaverage path length over t iTrees)