[发明专利]通过网络在主机与加速器之间进行通信

说明书

主机系统对通过网络提供给多个子系统的本地程序集合进行编译。通过定义主机上的同步活动、然后将该信息提供给子系统，主机可以服务大量子系统。所定义的同步活动包括定义在其间进行同步屏障的同步组以及在程序执行期间与主机进行数据交换的点。定义子系统之间的同步活动允许大量子系统连接，同时最小化所需的与主机的交换。

技术领域

本申请涉及通过网络进行通信的主机系统和处理单元。

背景技术

在为复杂或高容量应用处理数据的上下文中，工作加速器可以是将某些数据的处理从主机系统卸载到其上的子系统。这种工作加速器可以具有用于执行特定类型处理的专用硬件。

作为示例，这种专用加速器子系统可能有用的一个计算领域是机器智能。如机器智能领域的技术人员所熟悉的，机器智能算法是基于对“知识模型”执行迭代更新，“知识模型”可以由多个互连节点的图形来表示。每个节点的实施都涉及数据的处理，并且图形的互连对应于要在节点之间交换的数据。典型地，每个节点的至少一些处理可以独立于图形中的一些或所有其他节点来执行，因此大型图形为多线程提供了很大的机会。因此，专门用于机器智能应用的工作加速器可以包括很大程度的多线程。一种并行性形式可以通过包括同一芯片(即同一管芯)上的多个片(tile)的布置的处理器来实现，每个片包括其自己单独的相应处理单元和存储器(包括程序存储器和数据存储器)。因此，单独的程序代码部分可以在不同的片上并行运行。这些片经由芯片上互连而连接在一起，从而能够在它们之间交换数据。这种加速器可以用作主机系统的子系统，以对提供给它的数据集执行并行处理。

一般来说，在不同片上运行的程序部分之间可能存在依赖性。因此，需要一种技术来防止一个片上的一段代码在它所依赖的数据可被另一片上的另一段代码获得之前运行。有许多可能的方案来实现这一点，其中一个方案在这里通过示例描述为“BSP”(BulkSynchronous Parallel，批量同步并行)。根据BSP，每个片在交替循环中执行计算阶段和交换阶段。在计算阶段期间，每个片在片上本地执行一个或多个计算任务，但是不与任何其他片传送其任何计算结果。在交换阶段中，每个片被允许将来自前一计算阶段的一个或多个计算结果交换到该组中的一个或多个其他片，和/或从该组中的一个或多个其他片交换来自前一计算阶段的一个或多个计算结果，但是还没有进行到下一计算阶段。此外，根据BSP原理，将屏障同步(barrier synchronization)放置在从计算阶段过渡到交换阶段的接合点处，或者从交换阶段过渡到计算阶段的接合点处，或者两者兼有。也就是说：或者(a)在允许该组中的任何片进行到下一个交换阶段之前，需要所有片完成它们相应的计算阶段，或者(b)在允许该组中的任何片进行到下一个计算阶段之前，需要该组中的所有片完成它们相应的交换阶段，或者(c)两者兼有。在一些场景中，可以允许执行计算的片与其他系统资源(诸如网卡或存储盘)进行通信，只要不涉及与该组中的其他片的通信即可。

在交换阶段期间，数据交换可能不仅内在地发生在加速器内(即片之间)，而且在某些情况下可能需要发生在加速器与另一加速器之间或者加速器与主机系统之间。当子系统充当工作加速器时，它被配置为处理(例如，从主机系统或从扩展系统中的另一形式的存储器)提供给它的数据集。

为了从主机向一个或多个子系统提供工作负载，主机可以通过PCIe接口本地连接到那些子系统。这允许以低时延在主机与一个或多个子系统之间传送数据。然而，一个问题是，主机可通过PCIe连接直接连接的子系统的数量是有限的。因此，当尝试按比例增加子系统的数量以便运行更大的应用时，存在挑战，因为存在如何实现这些子系统与主机之间的数据交换的问题。

发明内容

为了处理更大的应用，期望将大量可以充当工作加速器的加速器子系统连接到主机。实现这一点的一个建议是通过网络将主机连接到加速器子系统。在主机设备从子系统执行的计算接收到结果与向子系统提供进一步的工作负载作为响应之间存在延迟。当这些工作负载可能取决于其他子系统输出的结果时，尤其如此。在一些情况下，主机必须从一个子系统接收结果并将结果提供给另一子系统。