[发明专利]一种存储优化的分布式图处理方法

摘要

本发明公开了一种基于存储优化的分布式图处理方法，属于图计算领域。本发明包括：数据预处理阶段进行数据划分；分发图分区数据；开始数据迭代处理；更新消息传递；工作节点扩展决策；数据处理结束。本发明提出使用一致性哈希算法对图数据进行分区和存储，并设计实现了基于外存模式的分布式图处理系统，利用动态存储优化的策略，根据负载调整图的分区存储，实现图数据处理负载平衡，加快图数据处理速度，解决现有技术存在的负载不平衡，在图数据处理过程中造成热点而引起的总体性能下降问题，从而提高图处理的性能。

主权项

1.一种存储优化的分布式图处理方法，其特征在于，包括如下步骤：/n(1)初始化；将图处理系统处理机节点划分为一个主控节点和多个工作节点，各工作节点用于完成图处理的基本过程，实现图处理的计算模型；主控节点用于控制各个工作节点；/n主控节点根据用户初始的配置，生成初始的消息路由表，所有工作节点保存所述消息路由表副本并与之同步更新；所述消息路由表用于记录各工作节点间的路由信息；主控节点控制整个图处理系统的执行，工作节点完成图处理的基本过程；所述路由信息，用于工作节点之间更新消息的传递和主控节点到各工作节点之间通信；/n主控节点根据所述消息路由表划分图数据，按图的结点id进行划分；划分块数与消息路由表中工作节点数相同；分块根据图结点总数平均划分；所述图的所有结点形成一个环状空间，图结点id的最小值和图结点id的最大值相邻；经过划分，各图结点分区呈现两种情况，一种分区是有连续的id，另一种分区是有两段连续id；/n(2)图数据的分发；主控节点将步骤(1)划分得到的各图结点分区和该分区内的元数据根据一致性哈希算法发送到消息路由表中相应的工作节点，所述元数据包括全图的边数、全图的结点数、图的类型、各分区的边数、各分区的id、各分区的起始的图结点id、各分区结束的图结点id和图分区中点图结点id；/n(3)迭代次数判别；各工作节点在主控节点控制下开始图数据迭代处理；迭代前，主控节点判别迭代次数是否达到迭代次数预设值，是则转步骤(6)；否则，转步骤(4)；/n(4)更新消息传递，各工作节点执行MGA计算，包括：/n首先，对图分区的每条边都执行一次Map操作，每一个图结点在执行MAP操作的同时产生一个更新消息，发送给对应的目的地址；/n其次，各图结点执行一个Gather操作收集传递给该图结点所有的更新消息；/n第三，各图结点执行一个Apply操作，用收集的更新消息来改变这个图结点的数据；所述更新消息的发送仅仅发生在工作节点之间，更新消息根据消息路由表发送给对应的工作节点；/n所述MGA计算即上述Map、Gather和Apply操作的简称，在图处理一轮迭代中，每一个图结点都要经历这三个阶段；/n(5)扩展处理；主控节点根据所收集的工作节点运行状态，判别各工作节点负载是否均衡：/n是则，不进行分割和扩展，转步骤(3)进行下一轮迭代；/n否则对负载最大工作节点的图分区数据进行分裂，即对处理的图数据进行分割，然后横向扩展，用以消除热点，即处理数据耗时最长的那个节点，采用一致性哈希算法为工作节点分配图分区数据，达到负载调控的目的；然后更新消息路由表，转步骤(3)进行下一轮迭代；/n(6)图数据处理结束，同时输出计算结果。/n