[发明专利]一种基于Spark确定黑分群的方法及系统

权利要求书

1.一种基于Spark确定黑分群的方法，其特征在于，包括：

计算引擎Spark周期性自数据库获取前一周期内新建用户群的群号，形成第一弹性数据集；

根据第一弹性数据集内各新建用户群的群号获取每个新建用户群内的成员信息、以及每个新建用户群内所有成员在前一周期参与活动得到的总积分，形成第二弹性数据集；

针对第二弹性数据集内的每个新建用户群，根据该新建用户群的成员信息、以及该新建用户群内所有成员在前一周期参与活动得到的总积分，判断该新建用户群是否为黑分群，所述黑分群是指参与活动时违规刷积分的用户群。

2.根据权利要求1所述的基于Spark确定黑分群的方法，其特征在于，新建用户群内的成员信息包括成员账号列表；

所述根据第一弹性数据集内各新建用户群的群号获取每个新建用户群内的成员信息、以及每个新建用户群内各用户在前一周期参与活动得到的总积分，形成第二弹性数据集，具体包括：

针对每个新建用户群，根据第一弹性数据集内新建用户群的群号，自数据库获取新建用户群内的各成员账号，形成新建用户群的成员账号列表；

根据新建用户群的成员账号列表获取新建用户群内每个成员在前一周期参与活动得到的积分，通过求和确定新建群内所有成员在前一周期参与活动得到的总积分；以及

将新建用户群的成员账号列表、该新建用户群内所有成员在前一周期参与活动得到的总积分形成该新建用户群的二元数组；

排列各新建用户群相应的二元数组形成第二弹性数据集。

3.根据权利要求2所述的基于Spark确定黑分群的方法，其特征在于，所述新建用户群的成员账号列表采用键值对形式表示，其中，新建用户群的群号为键，成员账号列表为值。

4.根据权利要求2所述的基于Spark确定黑分群的方法，其特征在于，所述新建用户群内的成员信息还包括：每个成员的账号注册时间差、每个成员的登录次数；所述账号注册时间差是指成员的账号注册时间距离前一周期起始点的时间差值；

所述根据第一弹性数据集内各新建用户群的群号获取每个新建用户群内的成员信息、以及每个新建用户群内各用户在前一周期参与活动得到的总积分，形成第二弹性数据集，还包括：

针对每个新建用户群，将新建用户群内的每个成员的账号注册时间差、每个成员的登录次数加入到其对应的二元数组内，形成该新建用户群的多元数组；

排列各新建用户群相应的多元数组更新第二弹性数据集。

5.根据权利要求4所述的基于Spark确定黑分群的方法，其特征在于，所述针对第二弹性数据集内的每个新建用户群，根据该新建用户群的成员信息、以及该新建用户群内所有成员在前一周期参与活动得到的总积分，判断该新建用户群是否为黑分群，具体包括：

针对每个新建用户群，根据每个成员的账号注册时间差计算得到该新建用户群内成员的账号注册时间差的平均值，以及根据每个成员的登录次数计算得到该新建用户群内成员的平均登录次数；

当该新建用户群内所有成员在前一周期参与活动得到的总积分大于预设积分阈值，且该新建用户群内成员的账号注册时间差的平均值小于预设时间阈值、该新建用户群内成员的平均登录次数小于预设次数阈值时，判定该新建用户群为黑分群；否则，判定该新建用户群为正常群。

6.一种基于Spark确定黑分群的系统，其特征在于，包括：

数据库，用于收集并保存与新建用户群所产生的相关数据；

计算引擎Spark，用于根据第一弹性数据集内各新建用户群的群号获取每个新建用户群内的成员信息、以及每个新建用户群内所有成员在前一周期参与活动得到的总积分，形成第二弹性数据集；

针对第二弹性数据集内的每个新建用户群，根据该新建用户群的成员信息、以及该新建用户群内所有成员在前一周期参与活动得到的总积分，判断该新建用户群是否为黑分群，所述黑分群是指参与活动时违规刷积分的用户群。