[发明专利]一种科学计算应用影像区交换通信模式的卸载实现方法

说明书

本发明提供一种科学计算应用影像区交换通信模式的卸载实现方法，保证应用执行该种数据通信模式时的高可拓展、低延迟性。包括以下步骤：(a)通过新的数据缓冲区管理机制进行传输数据的注册、管理与注销操作，以消除网络接口卡到科学计算应用程序缓冲区的不必要副本，提高网络带宽并减少通信延迟；(b)数据的传输采用远程直接数据存取的方法，根据影像区交换通信模式中传输数据的大小与进程间的数据依赖情况，灵活地选取多种传输协议；(c)将网络接口卡中的传输通道分为共享RDMA通道与独占RDMA通道，使密集通信或传输数据量较大的两进程间构建独占的RDMA通道进行数据通信，而其余进程间通信则共享部分通道实现。

技术领域：

本发明涉及高性能计算机技术领域，更具体的说，涉及一种科学计算应用影像区交换通信模式的卸载实现方法，是一种基于高性能计算机(High Performance Computer，简称HPC)新型网卡功能的科学计算应用影像区交换通信模式的卸载实现方法。

背景技术：

科学计算是解决国家经济建设、社会发展、科技创新、国家安全重大挑战性问题的重要手段，一直是世界各国竞争的战略高地，在未来很长一段时间内，依然是各国竞相优先发展的热点研究领域。在摩尔定律的推动下，高性能计算机不断发展进步，其峰值性能已跨过千万亿次，迈入亿亿次和十亿亿次时代，并向百亿亿次的目标继续挺进。但正因如此，科学计算应用的通信优化也面临着诸多问题。

科学计算应用编程框架是大幅降低应用级并行编程难度的重要技术途径，其处于科学计算应用和高性能计算机之间，起着承接与支撑的桥梁作用。一方面其建立在超级计算机提供的通用并行编程模型,例如MPI和Open MP等之上，对运行时优化、数据通信、负载平衡、并行I/O等高性能计算相关工作进行抽象，为应用领域专家屏蔽超级计算机体系结构和显式并行编程的复杂性。另一方面对软件的数据结构、函数库和流程龙骨进行抽象，为大型复杂应用软件的可拓展研制提供编程的标准和规范。

领域编程框架通过构件模型封装并行计算的细节，提供不同类型的计算模式，组织内存调度、数据通信以及并行计算，这使得科学计算应用的数据通信过程表现为一种通信模式或多种模式的组合。如果我们能够依托编程框架，对有代表性的科学计算应用分析凝练共性的数据通信模式，并优化这些通信模式的执行过程，则可以实现对批量科学计算应用性能的优化。

影像区交换数据通信模式是科学计算领域重大应用数据通信过程中，出现频率较高、通信延迟较大，往往会成为应用程序执行性能的瓶颈。现阶段，针对科学计算应用数据通信过程的优化，一般面向MPI编程模型开展。然而，由于MPI的目标是针对消息传递并行编程模式指定一种通信库接口标准，因此对于各种架构的高性能计算机的适配是其设计与实现时的重要指标。虽然，国内外学者对于通信受限型应用从算法改进和通信优化两种思路开展了诸多工作。但由于MPI本身的普适性，虽然这些工作应用在国产高性能计算机上会产生一定的性能提升，但是其根本上没有充分结合高性能计算机互连网络结构的硬件特性，因此对于通信执行过程的优化并不显著。

发明内容：

针对上述背景中所述的问题，本发明提供一种科学计算应用影像区交换通信模式的卸载实现方法，应用于科学计算重大领域应用的通信过程实现，基于现阶段高性能环境中普遍存在的新型网络接口卡特性，通过将科学计算应用中出现频率最高的数据通信模式——影像区交换进行卸载优化实现，保证应用执行该种数据通信模式时的高可拓展、低延迟性。

一种科学计算应用影像区交换通信模式的卸载实现方法，其特征在于，包括以下步骤：

(a)通过新的数据缓冲区管理机制进行传输数据的注册、管理与注销操作，以消除网络接口卡到科学计算应用程序缓冲区的不必要副本，提高网络带宽并减少通信延迟；

(b)数据的传输采用远程直接数据存取的方法，根据影像区交换通信模式中传输数据的大小与进程间的数据依赖情况，灵活地选取多种传输协议；