[发明专利]一种基于光电混合交换网络的MPI应用加速系统及方法

说明书

本发明公开了一种基于光电混合交换网络的MPI应用加速系统及方法，本发明的系统包括计算节点、架顶交换机、光路交换机、核心交换机和MPI调度控制器。其中架顶交换机分别与光路交换机、核心交换机和MPI调度控制器连接，MPI调度控制器同时与光路交换机连接。本发明的方法可对MPI应用中不同的通信操作进行优先级区分，并基于优先级与数据量综合生成数据流量分配权重，由架顶交换机根据权重值将数据流量发送到光路交换机进行加速，大幅提升带宽资源利用率。

技术领域

本发明属于计算机技术领域，并特别涉及一种基于光电混合交换网络的MPI应用加速系统及方法。

背景技术

消息传递接口MPI(Message Passing Interface)是一种基于信息传递的并行编程技术，广泛应用于高性能计算并行编程模型。随着计算能力的不断提升，高性能计算机的节点规模日益增长，预计未来几年将会达到数十万节点的规模。运行在高性能计算机上的各种应用规模不断增大，并行应用的编程模型复杂度不断提升，并行应用的执行效率和完成耗时受到挑战。基于MPI的高性能计算并行编程模型在规模达到数千至数万节点时，节点之间通信的耗时占应用完成时间的比例会显著提升，甚至可以达到70％左右，特别是某些同步通信操作会耗用较长的时间，这一问题将会随着节点规模的增大而变的更加严峻。通信系统的性能将正在成为大规模并行应用的效率瓶颈之一，网络系统层面的加速方法将会缩短并行应用程序的完成耗时。

在专利“针对SMP集群系统采用MPI和OpenMPI混合并行提高计算速度的方法”(CN104461467B)中公开了一种针对SMP集群系统采用MPI和OpenMP混合并行提高计算速度的方法，可以根据计算节点数目和节点内可用CPU核数确定可调用的MPI进程数和OpenMP线程数；每个进程读入已有的必要数据，之后开启多线程编译指令进行预条件共轭梯度计算，判断误差是否小于允许值，若小于则输出结果，否则继续循环计算。该专利技术优化了传统预条件共轭梯度算法，减少了多线程计算中的同步，提升了多核多节点超级计算机上的计算效率。但这种采用多线程的方式增大了内存开销，受限于共享存储扩展性，无法应用于大规模并行应用中，仅在应用层的优化无法在网络层面带来更大性能提升。

增加网络带宽是提升通信系统的性能的有效方法之一，传统的电互连网络的传输速率难以继续提升，而光互连网络本身具有高带宽和低能耗的特性，目前100Gbps的光模块已经较为成熟。但是光互连网络也存在问题：第一，光传输模块、光交换机等网络设备成本较高，大规模部署设备成本开销巨大；第二，业务流量支持粒度不够灵活，一些数据量较小的业务流量对带宽资源利用率较低。

Guohui Wang等人在其发表的论文“c-Through:Part-time Optics in DataCenters”(Acm Sigcomm Conference(Vol.40,pp.327-338))中提出了一种基于微机电系统MEMS(Micro-Electro-Mechanical System)光交换机的数据中心光电混合互连网络系统及通信方法。该网络系统在树形电域网络的基础上增加一层光域网络，ToR(Top of Rack)交换机同时连接到电域网络和光域网络，通过将数据量很大的网络流调度到光域网络上传输来缓解网络拥塞，提升性能。因此，对网络中流量的调度至关重要，直接影响网络性能，但该论文在应用层上对数据流量区分粒度较大，区分标准只有数据量大小，无法根据具体应用操作对数据流量进行优先级区分。

发明内容

本发明的目的是克服上述现有技术不足，通过对数据流量进行更加细致的区分，提升高性能计算机交换网络性能，减少基于MPI大规模并行应用的运行耗时。

针对现有技术的不足，本发明提出一种基于光电混合交换网络的MPI应用加速方法，其中包括：

步骤1、计算节点产生数据并产生通信操作，若该数据的流量大于阈值，则将使用MPI通信操作的优先级表示成权重，并将权重值添加至该数据，执行步骤2，否则将该权重值置零并添加至该数据，执行步骤2；