[发明专利]具有嵌入的环的联网计算机领域

说明书

本发明的一个方面提供了一种计算机，其包括布置在梯状配置中的多个互连的处理节点，该梯状配置包括多个相向的处理节点对。每个对的处理节点通过两个链路彼此连接。每个对中的处理节点通过至少一个链路连接到相邻对中的对应处理节点。处理节点被编程为操作梯状配置以围绕由处理节点和链路的相应集合形成的两个嵌入的一维环来传输数据，每个环仅使用梯状中的所有处理节点一次。

技术领域

本公开涉及在计算机中连接的处理节点之间的数据交换，具体地但不排他地用于优化机器学习/人工智能应用中的数据交换。

背景技术

集合体(collective)是在计算机中处理数据时常用的例程。它们是使得数据能够跨多个不同进程(process)而被共享和处理的例程，这些进程可能在同一处理节点或不同处理节点上运行。例如，如果一个进程从数据存储中读取数据，它可以使用“广播”进程来与其他进程共享该数据。另一个示例是当特定函数的结果被多个进程需要时。“归约(reduction)”是这样一种结果，其已要求对来自多个进程中的每一个进程的数据值应用计算函数。“聚集(Gather)”和“散射(Scatter)”集合体处理多于一个的数据项。某些集合体在处理机器学习应用中已变得越来越重要。

MPI(Message Passing Interface，消息传递接口)是一种消息传递标准，其可应用于多种并行计算架构。MPI定义了许多适用于机器学习的集合体。一个这样的集合体被称为“全归约(Allreduce)”。全归约操作使得作用于来自不同源进程的多个数据值的计算函数的结果能够在接收进程处被提供。注意，接收进程可以是源进程之一，也可以有多个接收进程。全归约集合体对来自多个源进程的数据值进行归约，并将结果分布到所有源进程(它们担任归约结果的接收进程)。根据MPI标准，全归约集合体是通过以下方式而实现的：在归约集合体中(例如，在多个进程之一处)对来自所有源进程的数据值进行归约，然后将结果广播到每个源进程。

图1是用于训练神经网络的分布式架构的示意框图。提供了训练数据源100。这可以是数据库或能够保留适用于正被训练的神经网络模型的训练数据的任何其他类型的数据存储。跨多个处理单元110a、110b、110c等而分布根据神经网络模型的处理本身。图1中仅示出了三个单元，但容易理解的是，可以使用任意数量的处理单元。每个处理单元110a、b、c从训练数据源100接收成批量的训练数据。每个处理单元110a、b、c保留定义该模型的一组参数112a、112b、112c。在计算函数114中用当前的一组参数来处理传入的一批训练数据，并且计算函数的结果被用于生成所谓的增量(delta)，其表示原始参数与新参数之间的差异，作为对该批训练数据和当前的一组参数处理应用该计算函数的结果。在许多神经网络中，这些参数被称为“权重”，因此增量值被称为“增量权重”。在图1中，权重被标记为112a、b、c，而增量权重被标记为116a、b、c。应当理解，在实践中，权重和增量权重被存储在处理单元可访问的合适的存储器中。如果权重和增量权重可以被保留在本地存储器中，则这会使训练过程更加高效。