[发明专利]大数据环境下有向图的并行去环算法

说明书

本发明公开了大数据环境下有向图的并行去环算法，采用spark graphx并行双向发消息，通过参数控制每个节点接收消息的量，实现环的识别与去除，本发明通过有效控制节点接收消息的量，不会引发消息膨胀，保证去环的顺利进行。节点正向和反向同时发送消息，比单一方向发送消息，效率提高一倍。去环时对环中度最小的边进行移除，只切除环中一条边，避免了对连通组件随机切边的随意性，能够保留原图更多数量的边。

技术领域

本发明涉及一种大数据环境下有向图的并行去环算法。

背景技术

在大数据，数据挖掘领域，图计算的应用越来越广泛，用于在数据中寻找和使用关系模型。目前图最常用于挖掘社交媒体等数据，特别是识别出社交小圈子、推荐新的社交连接关系，或推荐产品或广告。由于数据量通常很大，需要采用并行化机制。

对于有向图，如果存在大量环的情况，算法实现会卡住，在环上永远循环下去，造成结果在某一范围上下震荡，浪费计算资源。因此需要一种机制，能够快速并行之有效地消除这些闭塞不通的死胡同，同时去除的边应该尽可能的少。目前有关图计算去环的算法存在以下缺陷：

基于广度优先遍历寻找环路径，随着节点数目增多，路径组合指数级增长，无法适应大数据量的需求；

通过广度优先发消息的方式，同样由于大数据量，随着深度的增加，会引起消息爆炸；

采用连通组件随机切边的方式，对所切的边没有限制条件，同时也不能保证切边的总量尽可能小。

发明内容

本发明旨在解决大数据量图的去环问题，提供一种并行双向发消息识别图中的环和去除相应边的方法。

本发明的技术方案采用spark graphx并行双向发消息，通过参数控制每个节点接收消息的量，实现环的识别与去除，具体步骤如下：

S1：计算原始图每条边的度，边的度定义为源节点和目的节点度之和；

S2：精简原始图结构，具体步骤为：

S21：计算图的当前节点数，所有节点初始化为活跃状态；

S22：搜索所有出度为0的节点，标记为非活跃；

S23：搜索所有入度为0的节点，标记为非活跃；

S24：删除所有非活跃的节点；

S25：获取经处理后图的节点数，如果小于处理前的节点数，继续执行S21；

S3：用节点id初始化节点自上而下发消息集合downMsgs和自下而上发消息集合upMsgs；集合中消息的数据结构为：{nodeId(消息路径的节点id)，linkId(消息路径中度最小的边id)，linkDegree(默认为Integer.MAX_VALUE)}；

S4：初始化每次节点发送消息的上限poolSize；

S5：迭代发送消息，找出环路，并去除环中度最小的边，具体步骤为：

S51：收集图中所有非活跃的节点，将其作为非活跃节点集合广播变量；

S52：对于源节点和目的节点都为活跃状态的边，源节点向目的节点发送消息，具体步骤为：

S521：遍历源节点的downMsgs，如果消息的nodeId是活跃节点，将此消息作为传递消息；否则将源节点id作为传递消息；

S522：比较当前边的度与消息中的linkDegree大小，如果小于linkDegree，将消息中linkId替换为当前边id，linkDegree替换为当前边的度；