[发明专利]大数据环境下有向图的并行去环算法

摘要

本发明公开了大数据环境下有向图的并行去环算法，采用spark graphx并行双向发消息，通过参数控制每个节点接收消息的量，实现环的识别与去除，本发明通过有效控制节点接收消息的量，不会引发消息膨胀，保证去环的顺利进行。节点正向和反向同时发送消息，比单一方向发送消息，效率提高一倍。去环时对环中度最小的边进行移除，只切除环中一条边，避免了对连通组件随机切边的随意性，能够保留原图更多数量的边。

主权项

1.大数据环境下有向图的并行去环算法，其特征在于，包括以下步骤：S1：计算原始图每条边的度，边的度定义为源节点和目的节点度之和；S2：精简原始图结构，具体步骤为：S21：计算图的当前节点数，所有节点初始化为活跃状态；S22：搜索所有出度为0的节点，标记为非活跃；S23：搜索所有入度为0的节点，标记为非活跃；S24：删除所有非活跃的节点；S25：获取经处理后图的节点数，如果小于处理前的节点数，继续执行S21；S3：用节点id初始化节点自上而下发消息集合downMsgs和自下而上发消息集合upMsgs；集合中消息的数据结构为：{nodeId(消息路径的节点id)，linkId(消息路径中度最小的边id)，linkDegree(默认为Integer.MAX_VALUE)}；S4：初始化每次节点发送消息的上限poolSize；S5：迭代发送消息，找出环路，并去除环中度最小的边，具体步骤为：S51：收集图中所有非活跃的节点，将其作为非活跃节点集合广播变量；S52：对于源节点和目的节点都为活跃状态的边，源节点向目的节点发送消息，具体步骤为：S521：遍历源节点的downMsgs，如果消息的nodeId是活跃节点，将此消息作为传递消息；否则将源节点id作为传递消息；S522：比较当前边的度与消息中的linkDegree大小，如果小于linkDegree，将消息中linkId替换为当前边id，linkDegree替换为当前边的度；S523：合并每个节点接受到的downMsgs，将所有消息按linkDegree排序，取前poolSize个消息作为当前节点的downMsgs；S53：对于源节点和目的节点都为活跃状态的边，目的节点向源节点发送消息，具体步骤为：S531：遍历目的节点的upMsgs，如果消息的nodeId是活跃节点，将此消息作为传递消息；否则将目的节点id作为传递消息；S532：比较当前边的度与消息中的linkDegree大小，如果小于linkDegree，将消息中linkId替换为当前边id，linkDegree替换为当前边的度；S533：合并每个节点接受到的upMsgs，将所有消息按linkDegree排序，取前poolSize个消息作为当前节点的upMsgs；S54：初始化cutLinks，根据节点收到的消息寻找环路，并确定要删除的边，加入到cutLin ks集合中，具体步骤为：S541：如果节点收到的消息集合downMsgs和upMsgs都是非空，求两个集合的交集，如果交集非空，说明有环路，将交集中消息的linkId加入到cutLinks集合中；S542：如果节点收到的消息集合downMsgs非空，遍历downMsgs，如果存在消息中的nodeId与当前节点的id相等，说明有环路，将此消息的linkId加入到cutLinks集合中；S543：如果节点收到的消息集合upMsgs非空，遍历upMsgs，如果存在消息中的nodeId与当前节点的id相等，说明有环路，将此消息的linkId加入到cutLinks集合中；S55：将cutLinks的边添加到总的去边集合removedLinks中；S56：删除图中cutLinks集合中包含的边和非活跃节点；S57：重置每个节点的消息，具体步骤为：S571：如果节点的downMsgs或upMsgs为空，则说明此节点不存在环路，将该节点置为非活跃；S572：遍历节点的消息集合downMsgs和upMsgs，如果消息中的linkId是cutLinks中的边，则重置该消息为{nodeId＝当前节点Id，linkId＝‑1，linkDegree＝Integer.MAX_VALUE}；S58：重置poolSize，随着迭代的进行，可以适当加大poolSize；S59：计算当前图的活跃节点数量，如果活跃节点数量大于0，则跳转到S51继续执行；S6：对原始图进行操作，删除removedLinks集合中的边，即得到去环后的图。