[发明专利]运行时计算资源动态扩展方法

说明书

本发明公开了一种运行时计算资源动态扩展方法，发送资源扩展升级命令给正在运行的原课题；原节点接到升级信号后，进行通信环境清理；等待新进计算资源进行二次通信环境重构通信；新节点由作业管理启动程序，进入动态任务划分区域中；判断为资源升级新节点后，新节点进行通信环境清理；原节点与新节点进行二次通信环境重构；新节点按照动态任务划分规则自动进行分区，选取分区主节点，由分区主节点向全局主节点申请任务；全局主节点在接到原分区和新分区主节点的任务申请后，向原计算资源节点和新计算资源节点均匀分配任务，课题继续正常运行。本发明解决资源调整后的通信环境重构问题，在不中断已运行课题的基础上将空闲的计算资源分配给该课题，并动态分配未完成的任务，达到计算资源的最大化利用。

技术领域

本发明属于运行时系统领域，尤其涉及一种运行时计算资源动态扩展方法。

背景技术

高性能计算系统为众多领域的大规模并行应用的解算提供了可能，通常情况下，高性能计算系统的计算资源是被多道应用课题共享的，每一个应用课题的运行规模不同，运行时间也有差异，常常存在某些应用课题结束运行、计算资源闲置，而某些应用课题还需要运行很长时间的情况。可否利用闲置的计算资源加速正在运行的应用课题成为亟待解决的技术问题。

任务并行类应用课题是将任务池中的任务分配给多个计算资源并行完成，如果任务之间有相关性，则动态增加新的计算资源可能会破坏任务映射关系，影响程序的正常运行；如果任务之间没有相关性，则对计算资源的规模和形状不敏感，可以对已有任务进行动态划分，可以考虑利用新的闲置资源加速应用的完成。

许多大规模任务并行类应用需要大量的计算资源和较长的计算时间，如果有新的计算资源可以利用，往往采取的方案为等待断点文件更新、中断正在运行的课题、整合资源后重新提交课题，这不仅给用户带来一定的负担，而且会造成一定时间内（等待断点文件更新期间）新计算资源的闲置浪费。

发明内容

本发明目的在于提供一种运行时计算资源动态扩展方法，以解决资源调整后的通信环境重构问题，在不中断已运行课题的基础上将空闲的计算资源分配给该课题，并动态分配未完成的任务，在保证课题运行结果正确性和完备性的基础上达到计算资源的最大化利用。

为达到上述目的，本发明采用的技术方案是：一种运行时计算资源动态扩展方法，包括以下步骤，

S1、发送资源扩展升级命令给正在正常运行的原课题；

S2、原课题所有原计算资源节点与新计算资源节点同时收到资源扩展升级命令后，分别进行如下步骤：

a、原课题所有原计算资源节点接到所述资源扩展升级命令后进行如下步骤，

a1、进行通信环境清理，释放相关环境变量；

a2、等待新进来的计算资源一起进行二次通信环境初始化，重构通信环境；

a3、通信环境初始化后，原计算资源节点更新动态任务划分信息，按动态任务划分的规则将新进来的新计算资源节点加入动态任务划分区域中；

b、新计算资源节点收到资源扩展升级命令，新计算资源节点由作业管理来启动任务，分别进行如下步骤，

b1、新计算资源节点启动程序，进入动态任务划分区域中；

b2、新计算资源节点进行通信环境清理；

b3、与原计算资源节点一起进行二次通信环境初始化和重构；

b4、按照动态任务划分规则自动进行分区，新计算资源节点自动分区成为动态任务划分的新的一部分进程区，并选取某一新计算资源节点作为新的分区主节点，由所述分区主节点向原计算资源节点中的全局主节点申请任务；