[发明专利]用于分布式数据处理的并行决策系统及其方法

说明书

本发明公开了一种用于分布式数据处理的并行决策系统和方法。所述系统包括：初始逻辑节点生成组件，生成初始逻辑节点拓扑图；直接邻域标记组件，遍历所述初始逻辑节点拓扑图以获取一个选择的初始逻辑节点的直接邻域拓扑图并逐一标记所获取的直接邻域拓扑图；子邻域代价计算组件，遍历选择所标记的直接邻域拓扑图中的每个子邻域拓扑图，并计算子邻域拓扑图的每种随机组合下的子邻域拓扑图的代价和，以及各个初始逻辑节点的节点代价和；子邻域并行决策组件，计算每个初始逻辑节点在所有随机组合下的节点代价和之间的代价和差值，并确定子邻域拓扑图的子邻域并行方案；以及并行决策终结组件，在连续两遍遍历所获得每个直接邻域的并行方案及每个初始逻辑节点被赋予的节点代价和不变的情况下，终结重复遍历过程。

技术领域

本公开涉及一种数据处理技术。更具体地说，本公开涉及一种用于分布式数据处理的并行决策系统及其方法。

背景技术

在深度学习普及的现在，越来越多的模型以及规模越来越大的数据使得深度学习的训练已经不能在单台计算设备上实现。为此人们提出了分布式计算。随着分布式计算的普及，大型的作业或大张量会通过分割而将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理，并在各个部分计算过程需要进行中间参数的交互。这样，在具体作业的处理过程中，部署在一个计算设备上的计算中间参数或结果会成为另一个计算设备上的计算任务的输入数据，这会引起计算设备之间的数据传输开销。在作业数据很大的情况下，这种不同计算设备之间的传输开销对于分布式数据处理系统而言将造成极大的计算负担。因此，在支持数据并行、模型并行和混合并行、流式并行的分布式数据处理系统中，如何降低这种不同计算设备之间的数据传输开销是人们所需要面对的一个问题。

因此，人们试图在自己所有的分布式计算资源上在并行与否上获得一种数据处理方式，该方式一方面能够满足分布式计算资源的算力限制，一方面能够尽可能实现数据并行处理，提高数据处理的能力。很显然，在分布式数据处理系统中，在决定了在几台计算设备上进行并行计算，但是采用的并行方式也不是唯一的。通常每一个逻辑节点对同一计算任务的执行都可以有不同的并行处理方式。不同的并行处理方式在每个逻辑节点上会带来不同的运行时间，这样在前后两个逻辑节点之间由于两个逻辑节点采用不同的并行处理方式而导致不同的数据传输量，也就导致了不同的传输时间，因此，也对总体任务的数据处理时间带来不同影响，这就形成不同的计算效率。很显然，采用人工方式来反复调整进行深度学习的成千上万或几百万的数据处理节点的并行决策，必然导致大量的人工浪费。尤其是能够进行这种人工调整的人员都是高层次的人才，如果这些高层次人才将时间浪费在人工调整的琐碎工作中，必然导致人才浪费。尤其是不同的任务需要不同的并行决策，因此，即使采用同一套分布式数据处理资源也需要不同的并行决策来实现数据处理效率的最大化，这就导致每个任务都需要重新调整。并行决策人工调整方式首先会增大技术人员的工作量，耗费技术人员的人力，另一方面，在不同的逻辑节点应用并实现不同的并行模式，人们还需要考虑到内存的限制以及运行时间的消耗，会而且也不一定能带来理想的并行效果(把总运行时间压缩到极致或者近似极致)。

因此，人们需要一种能够基于分布式数据处理资源量自动进行并行决定的方法和系统，来决定每个逻辑节点的并行方式。

发明内容