[发明专利]运算处理设备及其控制方法以及用于存储程序的存储介质

说明书

本发明涉及运算处理设备及其控制方法以及用于存储程序的存储介质。一种运算处理设备，包括：能够彼此通信的多个节点(N个节点)，多个节点中的每个节点包括存储器和处理器，存储器被配置成存储值和操作结果，处理器被配置成当N为2或大于2的自然数、n为1或大于1的自然数并且N≠2ⁿ时执行第一处理，其中，第一处理被配置成：将由第一节点保存的值除以2，第一节点是多个节点中的任意节点和按照计数顺序的最后一个节点，通过将多个节点中除第一节点以外的剩余节点进行配对来获得一个或更多个节点对，以及重复地计算由一个或更多个节点对中的每个节点对保存的值的平均值。

技术领域

本文讨论的实施方式涉及运算处理设备、运算处理设备的控制方法以及用于存储程序的非暂态计算机可读存储介质。

背景技术

近年来，在各种领域中已经使用了诸如高性能计算(HPC)、数据科学、机器学习(ML)、深度学习(DL)等的技术。这些技术难以在单个处理器中处理数据以执行大量的计算。因此，当使用这些技术时，引入了将数据划分并分配给多个处理器并且并行地执行计算以提高速度的并行计算机。并行计算机包括由处理器、存储器和通信装置形成的多个节点并且经由网络耦接多个节点以在处理器之间执行数据通信。

例如，当执行DL时，在并行计算机中准备多个神经元层。在每个神经元层上重复地执行从输入数据获得输出数据的正向处理、将输出数据与正确答案进行比较以获得差的反向处理以及通过使用差来更新在每个神经元层中使用的参数的更新处理。由此，执行用于获得在每个神经元层中使用的参数的适当值的参数优化。当在例如图像识别等中用微分系数等表示时，通过后向处理获得的差有时被称为梯度信息。以这种方式，优化参数(或模型参数)以减少模型函数与数据之间的距离。

在参数优化中，执行被称为“AllReduce”处理的处理，在该处理中，针对每个神经元层聚合通过后向处理在每个节点处获取的差，并且通过预定操作获得更新数据并将其分发给每个节点。在Allreduce处理中，例如，将所有节点的梯度信息相加，并且将相加值分发给每个节点。此后，在每个节点处，可以通过将相加后的值除以并行计算机中包括的节点的数目并取平均来获得更新数据。

已知DL计算不同于执行例如32位或64位浮点运算的HPC计算，并且即使精度稍低，所获得的最终结果也几乎与例如HPC计算的结果相当。因此，由低位整数表示模型参数以减少节点之间的数据通信量。可以通过减少数据通信量来加速操作。例如，已经提出支持16位半精度浮点运算并且可以实现与32位浮点运算相比的两倍以上的吞吐量的图形处理单元(GPU)。存在通过使用作为定点数的低位整数来进一步提高吞吐量的技术。

然而，在具有例如四个节点的并行计算机中，即使梯度信息是例如8位值，在Allreduce处理期间也可能不可避免地需要10位的寄存器。例如，如果四个节点中的每个节点中的8位值是无符号二进制数“11111111”，则这些值的相加后的值变为10位值“1111111100”。在这种情况下，最终以16位表达来执行操作，因此吞吐量减少1/2。当并行计算机中包括的节点的数目增加至512时，例如，相加后的值可能变为17位，并且在这种情况下，以32位表达来执行操作，因此吞吐量减少至1/4。

因此，为了抑制溢出，可以在相加之前预先将每个节点的梯度信息除以节点的数目。然而，在这种情况下，尽管可以减少溢出的发生，但是当并行计算机中包括的节点的数目大时，商变得非常小或者变为0，因此在相加时发生误差，从而使操作精度劣化。例如，如果并行计算机中包括的512个节点中的每个节点中的8位值是无符号二进制数“11111111”，则通过将该值除以节点数目“512”获得的结果是8位值“00000000”。因此，难以通过避免溢出来维持操作精度。

以这种方式，在相关技术中，当并行计算机的节点数目增加时，吞吐量降低，并且如果尝试通过使用低位整数来提高吞吐量，则操作精度劣化，因此难以通过获得节点平均值来抑制操作精度的劣化。

[引用列表]

[专利文献]