[发明专利]并行处理设备和通信控制方法

说明书

技术领域

这里论述的实施方式涉及并行处理设备和通信控制方法。

背景技术

近年来，在科学技术领域中，分布式存储并行计算机已经是主流，分布式存储并行计算机具有如下构造：均包括处理器和存储器并且独立执行操作系统(OS)的大量节点通过互连体(interconnect)被连接。使用分布式存储并行计算机执行高性能计算的技术称为高性能计算(HPC)。在这种分布式存储并行计算机中，在各个节点处激活进程(process)，并且在彼此通信的同时，被激活的进程执行并行计算。互连体包括在节点之间连接的网络和节点连接到网络所用的装置。

为了在两个节点之间可靠地传送数据，在与在节点之间连接的网络和节点连接到网络所用的装置的特性匹配的过程(procedure)中控制通信。与在节点之间连接的网络和节点连接到网络所用的装置的特性匹配的过程还称为协议。

因特网中使用的传输控制协议(TCP)/因特网协议(IP)的协议处理通常由OS的协议栈执行。每个进程通过诸如伯克利套接字(Berkeley Socket)的软件接口执行数据至协议栈的输入和输出。经由协议栈进行的协议处理由OS的系统进程执行。即，当执行协议处理时，由于中断等使处理器执行的处理移动到OS内核，并且处理器难以同时执行其它计算。

为了提高处理器的算术效率，即，为了使执行性能接近理论性能，最好不执行协议处理。由此，在HPC领域中，通常，在被称为远程直接内存访问(RDMA：Remote Direct Memory Access)的方法中传送数据。RDMA是如下技术：互连体中的装置直接读出发送源进程管理的存储器，经由在节点之间连接的网络传送数据，并且将数据直接写入到目的地进程管理的存储器中。

虽然RDMA协议中没有事实标准，但是通常，任何RDMA协议都包括被称为Put和Get的功能。Put是发送源进程开始的协议，并且等同于写到其它节点。Get是目的地进程开始的协议，并且等同于从其它节点读出。

当执行RDMA的协议处理时，同样在互连体中，开始协议的指示在Put的情况下由发送源的处理器执行，而在Get的情况下由目的地节点的处理器执行。由此，使用常规RDMA协议的通信被认为是仅一侧上的处理器执行通信控制的通信，并且还被称为一侧通信。

表面上似乎Put仅需向目的地发送数据，因为协议的开始源进程是发送源，并且看起来比为其执行往返通信的Get更简单，以便从不同于协议的开始源进程的发送源进程发送数据。然而，实际上，甚至在Put中，因为数据到达的通知从目的地被发送到发送源以便核对已经可靠地传送数据，所以其变为往返通信。针对该协议，Put和Get这两者是从发送源进程到目的地进程的往返过程，并且区别在于伴随传送数据的路径是向外路径还是返回路径。

因为RDMA的协议在互连体中的装置中被处理，所以优选的是简单设计，以便容易结合到硬件中。Put和Get为简单构造，该构造在发送源进程与目的地进程之间进行一次往返，由此满足该条件。

还存在复杂性在结合到硬件中时成为问题的其它情况。例如，进程使用的存储器通过OS的虚拟化被片段化，并且为了实际目的，使用地址转换机制。另外，优选的是，存在通过协议检测数据的丢失和损坏并且保证数据的递送的方案。因此，存在由于诸如设计错误、路径上的节点故障等的故障导致数据丢失或意外数据可能发生在网络上的情况。这导致采取诸如暂停计算、重传数据等的措施，由此协议变得复杂。在用于HPC的互连体中，为了避免该复杂性，通常详细描述在节点之间连接的网络和节点连接到网络的装置的系统级对递送保障有用的功能。关于这一点，难以预料路径的质量，由此可以说互连体中使用的协议与不仅详细描述递送保障还详细描述拥塞控制作为协议的TCP/IP明显不同。

然而，在Put和Get在RDMA中的通信中，等待时间出现在具有依存关系的一系列通信中，并且其使处理器的算术效率下降。在采用有效通信算法时，由于Put和Get通信而使处理器的算术效率下降在被称为组通信的频繁通信模式中明显出现。组通信是相同目的的通信在多个进程之间同时执行的通信方法。在并行处理设备中，例如，在执行并行计算时向每个节点分配初始数据时和在向每个节点分配结果时，使用组通信。