[发明专利]用于任意树形拓扑的灵活、快速全归约的方法

说明书

本公开描述了一种用于跨处理器发送数据以在处理器上组合数据的方法。在一个实施例中，一种方法包括在被配置在包括根和一个或多个叶子的非对称或对称的树形拓扑中的处理器集处接收数据集。基于被连接到父节点的子处理器的数目，将数据集的目标部分分配给处理器集中的处理器。该方法包括从一个或多个叶子开始，在树形拓扑的每个分支中共享相同父节点的子处理器之间发送迭代分配的组合数据，并且增加树形拓扑中的级别，直到到达根。该方法还包括在子处理器之间从一个分支向至少一个其它分支中的子处理器发送组合数据。

背景技术

针对本发明的主要用途中的一个主要用途涉及深度学习领域，并且更具体地，涉及在深度学习和/或高性能计算实现中对任意树形拓扑执行全归约算法。

深度学习是指基于对数据集的多个级别的特征或表示的学习的一类机器学习算法。当前的深度学习方法包括使用级联的、用于特征提取和变换的多个非线性处理单元层。特征提取是指接收测量数据的初始集合并且建立导出值(或特征)以促进随后的学习和泛化步骤的过程。在许多情况下，较高级别特征从较低级别特征被导出以生成测量数据和导出特征的层级表示。

深度学习算法基于分布式表示。分布式表示在以下假设下操作：观测(或测量)数据是被组织成一个或多个层的一个或多个因素的交互的结果。概念上，深度学习引入了附加假设，即交互以提供测量数据的因素的层表示抽象或组成的级别。在这种假设下，多个层和层的大小对应于不同的抽象量。

在深度学习系统中利用和创建的数据中的任何或所有数据都可以跨一个或多个网络被传送，随后可以受到所述一个或多个网络的任何限制。特别地，关于本地和云环境两者中的大规模深度学习系统，任何网络通信都可以由于大量学习者、跨网络的数据交换频率，以及被交换的数据量而受到瓶颈的影响。此外，跨多层叠或变异(例如，在云环境中)网络的通信可以在很大程度上是低效率的，因为网络中最弱的链路或节点将在很大程度上决定网络作为整体将如何执行。

一种在大规模深度学习系统中提高效率的方法是采用归约(REDUCE)操作。归约操作是来自功能性编程的经典概念，其通常经由既是组合的又是交换的函数并行地将初始的数字集有效地归约成较小的数字集。一些现有的编程功能实现跨多个进程的归约操作，其中结果在一些情况下被返回到根进程或者在其他情况下被返回到所涉及的进程中的所有进程。

当在多个图形处理单元(GPU)上并行训练深度学习系统时，必须做出关于如何跨可用的GPU分布要被读取和执行的数据批次或组和操作的选择。然后，每个GPU在其自身的数据上运行网络的前向传播，以及误差反向传播，以确定相对于任何现有网络参数的损耗的梯度。GPU然后彼此通信以计算平均梯度，该通信可以跨各种网络发生。每次通信发生时，该通信都易受任何网络限制的影响，这可以导致深度学习系统内的数据传送的严重减速

发明内容

根据实施例，提供了一种用于跨处理器发送数据以在处理器上组合数据的方法，包括在处理器集P(P1、P2、…、Pk)处接收数据集D(D1、D2、…、Dn)，其中数据Di在处理器Pi处被接收。该方法包括将数据集的目标部分分配给处理器集中的处理器，其中处理器集被配置在包括根和一个或多个叶子的树形拓扑中，并且其中目标部分是基于被连接到父节点的子处理器的数目而被分配的。该方法还包括从一个或多个叶子开始，在树形拓扑的每个分支中共享相同父节点的子处理器之间发送迭代分配的组合数据，并且增加树形拓扑中的级别，直到到达根。该方法进一步包括在子处理器之间从一个分支向至少一个其它分支中的子处理器发送组合数据。

在另一形式中，提供了一种用于实现用于跨处理器发送数据以在处理器上组合数据的方法的系统。

在另一形式中，提供了一种用于跨处理器发送数据以在处理器上组合数据的计算机程序产品。

在研究了下面的附图和具体实施方式之后，本发明的其它系统、方法、特征和优点对本领域的普通技术人员来说将是或将变得明显。所有这些附加的系统、方法、特征和优点都被包括在本说明书和本发明内容中，在本发明的范围内，并且由所附权利要求保护

附图说明