[发明专利]异构计算中的并行加速方法及系统

说明书

本发明公开了一种异构计算中的并行加速方法及系统，该方法包括：预先根据GPU的个数确定GPU之间数据传输的拓扑结构；所述拓扑结构中的各GPU获取当前任务，并对所述当前任务中的数据进行计算，得到对应当前任务的计算结果；各GPU将自己得到的对应当前任务的计算结果分享给所述拓扑结构中的所有其它GPU；各GPU得到所述拓扑结构中的所有其它GPU的计算结果后，开始执行下一任务。利用本发明，可以在提高GPU并行计算能力的同时，降低各GPU节点的带宽需求。

技术领域

本发明涉及并行计算领域，具体涉及一种异构计算中的并行加速方法及系统。

背景技术

GPU(Graphic Processing Unit，图形处理器)，其主要用于进行各种并行计算，如绘制计算机图形所需的运算，包括顶点设置、光影、像素操作等。GPU中，绝大部分的晶体管都用于实现计算执行，只有很少的晶体管用于进行逻辑控制、缓存等，从而使得GPU具有很强的计算能力，非常适合处理逻辑简单但运算量巨大的计算任务，如深度学习任务中普遍使用GPU器件计算每层神经网络模型参数。为了应对越来越大的训练数据或越来越复杂的计算任务，需要越来越多的GPU协同工作，才能在较短的时间内完成计算任务。因此，GPU加速迫切需要，各GPU之间协同工作时，通信时长及通信带宽是影响GPU加速的主要因素。

现有的GPU加速方法一般采用主从式加速方法，服务器中GPU的拓扑结构包含一个主节点及多个从节点，如图1所示。各GPU先接收待传输的数据，再根据主从式加速方法的拓扑结构对各GPU包含数据进行更新，具体更新时，由于主节点的带宽要求，每次仅能同时与少量从节点通信，如仅能与2个从节点通信，从节点先依次将自己的数据传输到主节点上，当所有从节点的数据传输结束后，主节点对从节点所有数据进行汇总，然后再将汇总后的数据依次发给各从节点。通信结束后，各从节点得到自己及其它所有从节点的数据，各GPU数据更新结束。

如图1中，假设有8个从节点，主节点每次仅能与2个从节点通信，则各GPU数据更新过程如下：第一次通信从节点1、从节点2将数据传输到主节点，第二次通信从节点3、从节点4将数据传输到主节点，第三次通信从节点5、从节点6将数据传输到主节点，第四次通信从节点7、从节点8将数据传输到主节点；所有从节点将数据传输到主节点后，主节点对从节点数据汇总，分别传输给各从节点；第五次通信主节点将汇总后的数据传给从节点1、从节点2，第六次通信主节点将汇总后的数据传给从节点3、从节点4，第七次通信主节点将汇总后的数据传给从节点5、从节点6，第八次通信主节点将汇总后的数据传给从节点7、从节点8。

该方法中每个从节点之间不能直接通信，需要每个从节点先与主节点通信，当所有从节点与主节点通信结束后，再由主节点将得到的从节点的数据进行汇总后，依次传输给每个从节点，这个过程对主节点的带宽要求较高。主节点的带宽越高，同时与主节点通信的从节点越多，但实际应用中，由于硬件的限制，主节点的带宽往往仅能允许同时与少量从节点通信；如果从节点较多，则各GPU完成一次数据更新的时间越长；如果主节点的带宽不变，随着从节点规模的增大，各GPU数据更新的时间会呈线性增加，从而严重影响了GPU的加速效率。如图1中，假设有8个从节点时，各GPU完成一次数据更新，共需要8个通信时长。

发明内容

本发明提供一种异构计算中的并行加速方法及系统，以在提高GPU并行计算能力的同时，降低各GPU节点的带宽需求。

为此，本发明提供如下技术方案：

一种异构计算中的并行加速方法，包括：

预先根据GPU的个数确定GPU之间数据传输的拓扑结构；

所述拓扑结构中的各GPU获取当前任务，并对所述当前任务中的数据进行计算，得到对应当前任务的计算结果；

各GPU将自己得到的对应当前任务的计算结果分享给所述拓扑结构中的所有其它GPU，以使各GPU进行数据更新；