[发明专利]具有多个处理器的计算机中的通信

说明书

一种计算机，包括多个处理器，每个处理器被配置为在用于计算机的计算阶段期间对数据执行操作，并且在预编译的同步屏障之后，在用于计算机的交换阶段期间与至少一个其它处理器交换数据，其中计算机中的处理器被加索引并且由每个处理器在交换阶段中执行的数据交换操作取决于其索引值。

技术领域

本公开涉及控制在包括多个处理器的计算机中的不同处理器之间执行的数据传送操作。

背景技术

当执行大规模并行操作时，在计算机内提供多个处理器。这种计算机可以是其中在单个芯片上提供每个处理器的系统。每个处理器本身可以包括多个处理单元。在一些情况下，每个处理器可以被配置为对不同的数据集执行相同的操作集。每个处理器在计算阶段期间执行其相应的计算，然后在交换阶段期间与其它处理器中的一个或多个处理器交换结果。在计算阶段和交换阶段之间施加预编译屏障(barrier)。对结果的交换允许在不同处理器之间实现同步，每个处理器在更大操作的上下文中执行不同任务。

在机器学习算法的上下文中，例如在深度神经网络的上下文中，发现了一个包括多个处理器的计算机的应用的示例。如机器智能领域的技术人员所熟悉的那样，机器智能算法基于对“知识模型”执行迭代更新，该“知识模型”可以由多个互连的节点的图表示。每个节点表示其输入的函数。一些节点接收图的输入，并且一些节点接收来自一个或多个其它节点的输入，而一些节点的输出形成其它节点的输入，并且一些节点的输出提供图的输出(并且在一些情况下给定节点甚至可以具有所有这些：图的输入、图的输出以及与其它节点的连接)。另外，每个节点处的函数由一个或多个相应参数(例如，权重)参数化。在学习阶段期间，目标是基于经验输入数据的集合来找到各种参数的值，使得图作为整体将为一定范围的可能输入生成期望的输出。用于这样做的各种算法在本领域中是已知的，诸如基于随机梯度下降的反向传播算法。在基于输入数据的多次迭代中，参数被逐渐调谐以减小它们的误差，因此图朝着解收敛。在后续阶段，学习到的模型可以被用于在给定指定的输入集的情况下对输出进行预测或者在给定指定的输出集的情况下对输入(原因)进行推断。

通常，每个节点的处理中的至少一些可以独立于图中的一些或所有其它节点执行，因此大图为并发和/或并行性提供了大的机会。每个处理单元是可以被用于执行与不同节点相关联的处理的计算机。以这种方式，多个处理单元可以被共同用于训练单个神经网络。这是通过应用数据并行性来实现的，其中每个处理单元使用不同的数据集为神经网络的每个处理单元导出对权重的更新。然后在交换阶段期间在处理单元之间同步这些更新。

因此，可以理解，当在计算机的处理器之间交换数据时，要求每个处理器在不同的时间交换数据的不同片段。此外，每个处理器可以被配置为关于接收到的数据执行不同操作，诸如数据的存储和精简，这些操作取决于相应处理器在计算机中的位置。因此，需要确保计算机中的每个处理器在适当的时间执行其相应的操作。

发明内容

如上所述，为了确保在计算机的处理器之间交换数据，每个处理器都必需在适当的时间执行数据交换所需的适当操作。实现此目的的一种方式是为计算机中的每个处理器编译不同的可执行代码集(可执行映像)。通过为每个处理器编译不同的代码集，可以对每个处理器进行编程以在不同时间执行用于数据交换的适当操作，从而允许处理器之间的适当数据交换。但是，存在与对于每个处理器编译单独的程序相关联的问题，即，编译时间随着处理器的数量而显著增加，使得编译时间变得不期望地大。

本发明提供了一种用于在处理器之间交换数据的技术，其特别适用于在使用机器学习模型执行训练时使用，但不限于这个上下文。

根据本申请的实施例，计算机中的处理器集中的每个处理器设有单个可执行计算机代码集，其可以采用可执行映像的形式。该处理器集中的每个处理器设有索引值，该索引值确定在执行期间的特定时间执行在该可执行计算机代码集中表达的哪些操作。取决于索引值的操作是控制处理器之间数据的交换的操作。因此，处理器被配置为根据它们相应的索引值执行适当的交换操作，而不要求为每个处理器编译单独的可执行代码集。