[发明专利]一种基于异常用户识别的热销商品构建方法和系统

权利要求书

1.一种基于异常用户识别的热销商品构建方法，其特征在于包括如下步骤：

步骤a、从用户行为序列数据中提取特征，构建用户特征向量，从而生成训练数据，然后利用训练数据训练孤立森林模型，以识别异常用户；

步骤b、基于消息序列的异常用户实时检测结果，在测试日志数据中对异常用户产生的行为数据进行标注，从而识别异常用户；

步骤c、在使用统计结果更新热销商品池以生成热销商品时，抛弃被标注为异常用户产生的数据，从而构建出热销池名单。

2.根据权利要求1所述的一种基于异常用户识别的热销商品构建方法，其特征在于：步骤a中，采用分布式方式训练孤立森林模型，具体训练过程为：

将生成的训练数据随机分成K份，每一份在一台pc机器上使用相同的训练参数训练孤立森林模型，分别得到一个孤立森林模型；

训练完成后，将K个孤立森林模型封装在一起，每一个孤立森林模型都可以对用户打分，打出的分值即是该用户为异常用户的概率，取K个孤立森林模型评分的平均值、中位数值或众位数值作为最终预测评分。

3.根据权利要求2所述的一种基于异常用户识别的热销商品构建方法，其特征在于：孤立森林模型包括m个孤立树，每个孤立树均是一个二叉树结构，孤立森林模型的实现步骤如下：

步骤a1.从一份训练数据中随机选择x个样本点作为下采样subsample，放入树的根节点；

步骤a2.随机指定一个维度attribute，在当前节点数据中随机产生一个切割点p，切割点p产生于当前节点数据中指定维度attribute的最大值和最小值之间；

步骤a3.以此切割点p生成一个超平面，然后将当前节点数据空间划分为2个子空间：把指定维度里小于p的数据放在当前节点的左孩子，把大于等于p的数据放在当前节点的右孩子；

步骤a4.在孩子节点中递归步骤a2和步骤a3，不断构造新的孩子节点，直到孩子节点中只有一个数据无法再继续切割或孩子节点已到达限定高度.最终获得m个孤立树，训练结束，用以评估测试数据的孤立森林模型生成成功。

4.根据权利要求3所述的一种基于异常用户识别的热销商品构建方法，其特征在于：识别异常用户的具体过程为：

对于一个测试日志数据y，令其遍历每一棵孤立树，然后计算y最终落在每棵孤立树的第几层，也就是y处在树的高度值，进而可以得出y在每棵树的高度平均值；

获得每个测试日志数据的高度平均值后，通过设置的边界阈值进行比较，若高度平均值低于此边界阈值，即该测试数据即为异常(也就是说异常在这些树中只有很短的平均高度)。

5.一种基于异常用户识别的热销商品构建系统，其特征在于：用于实现上述构建方法，包括依次通信连接的异常用户检测系统、数据识别系统和数据清洗系统，其中异常用户检测系统包括用于提取用户行为数据的后端服务器、与后端服务器形成的用户行为日志连接的消费者点击流处理平台、与消费者点击流处理平台连接的用户画像数据存储库、与用户画像数据存储库连接的模型离线训练模块，模型离线训练模块用于生成孤立森林模型；

数据识别系统包括与孤立森林模型连接的异常用户数据识别模块；

数据清洗系统包括与异常用户数据识别模块和商品画像数据库均连接的数据清洗模块、与数据清洗模块连接的真实商品画像数据库，利用真实商品画像数据库从而构建出商品热销池名单。

6.根据权利要求5所述的一种基于异常用户识别的热销商品构建系统，其特征在于：消费者点击流处理平台为kafka。

7.根据权利要求5所述的一种基于异常用户识别的热销商品构建系统，其特征在于：数据识别系统的具体工作过程：

1)基于用户历史行为序列数据，提取描述用户的特征向量；

2)使用无监督学习的孤立森林算法，分布式训练孤立森林模型；

3)训练得到孤立森林模型后，对用户打分，并根据评分结果标注用户为正常用户或异常用户。