[发明专利]一种基于Spark确定黑分群的方法及系统

说明书

本发明实施例提供一种基于Spark确定黑分群的方法及系统，包括：计算引擎Spark周期性自数据库获取前一周期内新建用户群的群号，形成第一弹性数据集；根据第一弹性数据集内各新建用户群的群号获取每个新建用户群内的成员信息、以及每个新建用户群内所有成员在前一周期参与活动得到的总积分，形成第二弹性数据集；针对第二弹性数据集内的每个新建用户群，根据该新建用户群的成员信息、以及该新建用户群内所有成员在前一周期参与活动得到的总积分，判断该新建用户群是否为黑分群。采用Spark对黑分群的挖掘，能够对大型互联网平台一段时间内所有的新建群进行是否为黑分群的数据分析、统计和异常认证。

技术领域

本发明涉及数据分析领域，具体涉及一种基于Spark确定黑分群的方法及系统。

背景技术

在互联网社交平台上，经常有某活动的规则是在群里某一人得到积分则所有人都会得到同样多的积分。其本意是鼓励用户们进行社交活动。但一些不法分子会批量注册小号然后建立许多群，然后互相刷分或者给某大号刷分，这种行为不仅损害了正常用户的利益而且会使平台受到较大损失，这样的群就叫黑分群。现在目的是把这些黑分群都找出来。

在实现本发明过程中，申请人发现现有技术中至少存在如下问题：

如果使用普通的分析方法将每个群全部分析完，工作量非常大、且与建黑分群的速度不匹配，比如预计是30天才能分析完1天内新建的所有群，而此时不法分子早已成功拿到了剩下29天的积分。所以现在只能是抽样调查，取一部分群，计算其总积分，然后按分数排序，分数超过一定值的群和其群员认定为异常。目前没有能特别好的解决问题的方法来分析所有的群并找出黑分群。

发明内容

本发明实施例提供一种基于Spark确定黑分群的方法及系统，通过采用Spark能够对黑分群进行批量，批量挖掘使得能够对大型互联网平台一段时间内所有的新建用户群及其群员进行数据分析、统计、异常认证，从而可以判断新建用户群是否为黑分群。

为达上述目的，一方面，本发明实施例提供一种基于Spark确定黑分群的方法，包括：

计算引擎Spark周期性自数据库获取前一周期内新建用户群的群号，形成第一弹性数据集；

根据第一弹性数据集内各新建用户群的群号获取每个新建用户群内的成员信息、以及每个新建用户群内所有成员在前一周期参与活动得到的总积分，形成第二弹性数据集；

针对第二弹性数据集内的每个新建用户群，根据该新建用户群的成员信息、以及该新建用户群内所有成员在前一周期参与活动得到的总积分，判断该新建用户群是否为黑分群，所述黑分群是指参与活动时违规刷积分的用户群。

另一方面，本发明实施例提供一种基于Spark确定黑分群的系统，包括：

数据库，用于收集并保存与新建用户群所产生的相关数据；

计算引擎Spark，用于根据第一弹性数据集内各新建用户群的群号获取每个新建用户群内的成员信息、以及每个新建用户群内所有成员在前一周期参与活动得到的总积分，形成第二弹性数据集；

针对第二弹性数据集内的每个新建用户群，根据该新建用户群的成员信息、以及该新建用户群内所有成员在前一周期参与活动得到的总积分，判断该新建用户群是否为黑分群，所述黑分群是指参与活动时违规刷积分的用户群。

上述技术方案具有如下有益效果：Spark处理的速度要快于数据产生的速度，那么可通过采用Spark能够对黑分群进行批量，批量挖掘使得能够对大型互联网平台一段时间内所有的新建用户群及其群员进行数据分析、统计、异常认证，从而可以判断新建用户群是否为黑分群，从而可以为组织黑分群违规刷分提供技术支撑，净化网络环境。

附图说明