[发明专利]一种基于改进关联规则的社团发现算法

说明书

本发明公开了一种基于改进关联规则的社团发现算法，首先支持度自适应，用数学方法计算出最小支持度；其次引入布尔矩阵和事务权重思想改进Apriori算法，减少扫描数据库次数；最后与Spark平台结合，实现改进关联规则的社团发现算法并行化。本发明的基于改进关联规则的社团发现算法通过利用MAC地址挖掘社团成员，引入支持度自适应的思想和通过添加事务权重生成布尔矩阵的方法来改进Apriori算法，将改进的算法与Spark结合实现算法的并行化，通过挖掘频繁项集的方式挖掘社团成员间的关系。实验结果表明，ARCD算法解决了人为设置支持度的主观性及社团挖掘结果冗余的问题，具有良好的可扩展性，提高了社团发现的挖掘速度。

技术领域

本发明涉及一种基于改进关联规则的社团发现算法。

背景技术

随着大数据时代的到来，无线城市的建设也逐步完善。复杂网络研究一直是社会研究的热点，社团发现对研究复杂网络有重要的作用。在海量数据中挖掘无线城市存在的社团关系成为新的挑战。

针对传统社团发现算法，提出了将社团发现算法和关联规则相融合的混合算法，改进的算法提高了社团发现的准确度，但改进的算法又引入了关联规则算法的缺点，提高搜索时间、降低搜索效率。马威等提出利用有向无权图改进社团发现的CS算法，改进算法在挖掘社团的时间空间方面都得到显著的提高，但算法在权重排序后产生大量团冗余并且该算法发现的成员关系较强，在现实生活不一定成立。张燕等提出利用二叉树结构改进社团发现算法，并将MapReduce和二叉树相结合改进社团发现算法，实现算法的并行化，解决了处理海量数据时效率低，数据溢出的问题，但MapReduce在进行迭代时，需要频繁扫描磁盘，增加计算时间。Yang Qinliu等提出利用矩阵改进关联规则，该算法解决了传统关联规则算法频繁扫描事务数据集的缺点，提高了运算效率，但该算法在处理海量数据时，消耗大量时间。王雪平等提出Apriori算法支持度置信度自适应的思想，该算法解决了人为设置支持度和置信度时存在主观性和、无科学依据的问题，但算法并没有解决传统Apriori算法存在的缺点。

发明内容

基于以上现有技术的不足，本发明所要解决的问题在于提供一种基于改进关联规则的社团发现算法，结合支持度自适应的思想和利用权重生成布尔矩阵的方法改进Apriori算法，并在Spark平台上将改进的算法和社团发现算法相融合的ARCD算法。

为了解决上述技术问题，本发明通过以下技术方案来实现：

本发明提供一种基于改进关联规则的社团发现算法，包括以下步骤：

S1：支持度自适应，用数学方法计算出最小支持度；

S2：引入布尔矩阵和事务权重思想改进Apriori算法，减少扫描数据库次数；

S3：与Spark平台结合，实现改进关联规则的社团发现算法并行化。

可选的，所述步骤S1中，对Apriori算法进行优化：

S11、对事务数据集D中的每一项进行支持度计数，并从大到小排序；

S12、根据数据对进行k次项多项式曲线拟合。

可选的，所述步骤S2中，针对Apriori算法频繁扫描事务数据，生成候选集冗余问题，ARCD算法利用权重和布尔矩阵进行“与”操作得到候选项集的方法改进Apriori算法。

进一步的，所述步骤S3包括以下步骤：

S31、扫描数据集生成频繁1项集L₁，将结果存储在HDFS上，将存储在HDFS上的数据集看作一个RDD，并将RDD划分为n块，分给m个work节点；

S32、构造局部矩阵，计算局部矩阵的支持度计数

S33、利用ReduceByKey操作，合并局部频繁项集，得到全局候选项集。