[发明专利]一种基于强化学习的通用分布式图处理方法及系统

说明书

本发明公开了一种基于强化学习的通用分布式图处理方法及系统，基于图论定义分布式数据处理中心形成分布式图，利用预设图切割模型及预设图处理模型，基于预设约束条件利用强化学习的方式对分布式图切割，给每一个顶点分配一个学习自动机，通过训练为顶点找到最适合的数据处理中心，每个顶点在所有数据处理中心的可能性服从一定的概率分布，整个系统在每个迭代过程中包含动作选择、顶点迁移、分数计算、强化信号计算、概率更新五个步骤，达到最大迭代次数或者约束条件已经收敛，判断迭代结束。本发明提供通用分布式图处理方法形成的分布式图处理模型是一个通用的分布式图模型，对于不同的优化目标只需要设计不同的分数计算方案以及不同的权重向量。

技术领域

本发明涉及大规模图分割处理领域，具体涉及一种基于强化学习的通用分布式图处理方法及系统。

背景技术

为了高效地进行大规模图处理，通常需要对图进行分割，使得分割后的子图可以并行地进行处理。大规模图分割目前有以下几种经典模型：

启发式模型，传统主流的大规模图处理系统Pregel、PowerGraph等都采用的是启发式的分割算法。Pregel默认的分区方法就是通过对顶点id的Hash值进行取模操作以达到增强分区的局部性，减少计算节点之间网络流量的优化目标。PowerGraph默认采用的是贪婪的点切分方式，对于新加进来的边，如果它的某个顶点已经存在于某台机器上，就将该边分配到对应的机器上，从而最小化跨机器的边的数目，减少通信量。这种启发式的图分割算法容易陷入局部最优解，有一些更好的解空间并没有被搜索到。

机器学习模型，Phamet等人提出一种图分区方式，具体是指将Tensorflow计算图上的operations(node)分配到可利用的设备上，使得计算时间最短。他们采用的是强化学习模型，利用seq2seq策略来分配operations。这种方式只适用于图节点数目较少的情况，这样策略空间不会太大，这种方法才适用。Naziet等人提出了一种用深度学习来解决图分区问题的算法GAP。GAP是一个无监督学习方法，把平衡图分区问题当作顶点分类问题进行解决。但是如果优化目标涉及到网络价格以及带宽的异构性时，nodes的embeddings的计算就十分复杂了。这些已有的用于图分割的机器学习模型适用场景比较单一，当图规模变大、优化目标更复杂时，这些方法就不能很好地解决图分割问题了。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中图切割模型存在易陷入局部最优解、使用场景单一等分割效果差的缺陷，从而提供一种基于强化学习的通用分布式图处理方法及系统。

为达到上述目的，本发明提供如下技术方案：

第一方面，本发明实施例提供一种基于强化学习的通用分布式图处理方法，包括如下步骤：基于图论定义分布式数据处理中心形成分布式图，利用预设图切割模型及预设图处理模型，基于预设约束条件对分布式图进行切割；

为分布式图的每个顶点分配一个学习自动机，初始化各顶点在各数据处理中心的概率，基于初始化的概率，所述学习自动机按预设动作选择方法为顶点选择概率最大的数据处理中心；

学习自动机将为顶点选择概率最大的数据处理中心，与其顶点当前所在的数据处理中心作比较，如果不一致，则将顶点迁移至动作对应的数据处理中心中，否则不做任何操作；

每个学习自动机计算其顶点在每一个数据处理中心时的分数，所述分数根据所述预设约束条件确定；

每个学习自动机将最大分数对应的数据处理中心号传播给其顶点的邻居所属的学习自动机，生成相应的权重向量，学习自动机根据所述权重向量为其顶点计算出所有数据处理中心对应的强化信号；

学习自动机根据所述权重向量以及强化信号，更新其顶点在每一个数据处理中心的概率值，指导下一次的动作选择进行迭代；

直至达到预设迭代次数或者所述约束条件收敛，生成满足预设约束条件的分布式图的分割结果。