[发明专利]一种构建高效MPI设备层扩展库的方法

摘要

本发明涉及一种构建高效MPI设备层扩展库的方法。本方法是利用MPICH3的PMI KVS空间的功能，结合PCI Express互联结构的特点，提出控制和数据双通道的通信模式，通过以太网仅传输必需的控制信息，使用高速的PCI Express来传输数据信息，通过进程PMI put操作保存本地计算节点端口等信息到本地KVS中,同时同步到远程服务端KVS，而其他进程再通过PMI get操作获取各进程所在计算节点端口等信息，从而建立节点间通信关系，实现这种嵌入式混合异构系统运算节点之间高效的数据传输，实现MPI并行程序无缝移植和高效运行。

主权项

1.一种构建高效MPI设备层扩展库的方法，其特征在于操作步骤如下：A.虚连接的初始化；B.控制和数据传输双通道模式的设计；C.系统基本功能设计与实现；所述步骤B中控制和数据传输双通道模式的设计如下：与进程管理相关的信息通过TCP进行传输，而数据信息发送、接收通过PCIExpress总线传输，具体的过程如下：1)将端口号信息和设定的key，字符串“endpoint”，通过PMI_KVS_Put方法写入本地KVS中；2)从整个树形结构中层层提交到远程的Launch node端KVS中；3)其他进程按照这个key值在对应的进程KVS中去查找需要的端口号信息；因为每一块板卡有一个唯一的IP地址，也对应一个唯一的端口，本地初始化时可以通过kernel提供的方法获得端口号，然后通过上面的方法去进行保存；4)在每个进程虚连接初始化的时候去通过PMI_KVS_Get方法查询每个进程rank值对应的端口号信息，并保存到虚连接中；所述步骤C中系统基本功能设计与实现数据包的设计和数据的发送和接收：当发送方向接收方发送数据时:a).先为本次通信过程分配唯一的序列号，再填充源端口号和目的端口号，源进程号和目的进程号以及数据长度信息，将控制信息数据包发送给PC端；b).PC端接收到控制信息数据包，得到目的端口号和序列号信息，并等待发送方发送数据；c).发送方将数据发送给PC端；d).当PC端接收到所有数据时，将数据发送到目的端口号；由于一块板卡上运行多个应用进程，而每一个进程会从同一个端口读取数据，从而使得数据读取混乱，所以采用为板卡上每一个进程预设内存缓冲池的去存放PC端发送来的数据，当设备层扩展库读取数据时，按进程号读取对应缓冲池上的数据，再拷贝到用户数据区。