[发明专利]一种分布式环境下图模式关联规则挖掘方法

说明书

本发明公开了一种分布式环境下图模式关联规则挖掘方法，搭建分布式计算环境，整个分布式环境包括一个中心与多个分区；设定挖掘的支持度及置信度阈值，统计全局频繁单边；分区统计结果将发送至中心进行汇总，确定频繁边集合；进行频繁结构挖掘；中心将从频繁单边开始，对其进行right‑most路径上的迭代生长，每一轮生长结果将被广播至所有分区进行挖掘，挖掘结果反馈至中心；中心汇总统计后去除不满足支持度阈值的结构，对满足支持度阈值的结构，继续进行迭代生长，直至所有频繁单边结构迭代完成，输出编码树；最后产生图结构关联规则。本发明为用户提供了在大规模社交网络中挖掘图模式关联规则，并利用图模式关联规则开展社交营销和推荐的技术。

技术领域

本发明涉及数据挖掘技术领域，具体为一种分布式环境下图模式关联规则挖掘方法。

背景技术

大数据的出现，引发了全球范围内深刻的技术与商业变革，已经成为全球发展的趋势以及国家和企业间的竞争焦点。在白热化的商业竞争环境下，利用多样化的分析技术挖掘数据背后隐藏的商业价值已无处不在。其中一个被广泛认可，且行之有效的分析方法即为关联分析。通过关联分析，人们可以在交易数据库(Transactional DataBase，以下简称TDB)——一种典型的结构化数据中发现项集间的联系，例如：沃尔玛通过对交易数据进行关联分析，成功地发现了有关联的商品，进而优化商品布置，促进关联销售等。

然而，传统的关联分析仅适用于对结构化数据的分析，并不适用于以社交网络为代表的超大规模图结构数据。随着近年来社交网络的快速发展，如何对其进行关联分析，发现其中实体间的关联关系引起了人们的高度关注，成为大数据分析领域内一个亟待解决的问题。其原因在于：社交网络已成为市场营销、广告投放等的重要平台，发现社交网络中实体间的关联关系有着巨大的商业价值。实际上，研究发现“截至2017年2月有88％的购买源于tweets的推荐，60％的用户认为Twitter在他们的购物决策中起到很重要的作用”，此外，“90％的用户信任朋友的推荐，反之仅有14％的人相信广告；且同伴影响可以使消费者购买产品的可能性增加50％以上”。

为了进一步说明社交网络中的关联关系及其作用，以下我们通过以下实例来进行阐述：

例1：在社交网络Pokec中，我们发现如图1所示的规则R₁，即：如果(1)用户1和用户2是好友关系(相互跟随)且共同喜欢职业发展类书籍；(2) 用户1还喜欢个人发展类书籍，那么用户2也很有可能喜欢个人发展类书籍。基于规则R₁，我们发现用户2是个人发展类书籍的潜在消费者，可以通过向用户2做有针对性的推荐，帮助提高该书籍的销量。

与传统关联规则不同，上述规则R₁，R₂，R₃以及R₄可以被形式化地描述为一个基于图模式的关联规则(Graph Pattern Association Rule，以下简称GPAR)，其中R的先导和后继分别是模式图Q₁和Q₂。

毫无疑问，这些规则对于我们开展社会营销将起到非常重要的作用。然而从以社交网络为代表的大规模图数据中挖掘隐藏其中的GPAR并非易事。主要的困难包括：

(1)社交网络数据规模巨大，通常以数亿计。此外，挖掘计算开销巨大。因此，在如此海量的数据上进行昂贵的挖掘计算，势必造成过高的计算开销。

(2)社交网络的数据往往是分布式存储的，进行GPAR的挖掘通常需要访问多个数据站点，收集所需要的信息。因此，在分布式环境下，GPAR的挖掘更加困难。

发明内容