[发明专利]应用运行时确定的异构计算资源的动态分配

说明书

本发明提供了一种操作异构计算系统的方法，异构计算系统包括多个计算节点和多个增强器节点，多个计算节点和多个增强器节点中的至少一个被布置为对计算任务进行计算，计算任务包括多个子任务，其中，在第一计算迭代中，多个子任务在第一分布中被分配给并且由多个计算节点和增强器节点中的节点来处理；以及使用与由多个计算节点和增强器节点对多个子任务的处理有关的信息来生成子任务在计算节点与增强器节点之间的其他分布，以便在其他计算迭代中进行处理。

技术领域

本发明涉及用于在计算环境内执行计算任务的机制，所述计算环境尤其是适于计算任务的并行处理的异构计算环境。

背景技术

本发明是在早期申请WO2012/049247A1(WO'247)中描述的系统的发展，该申请WO'247描述了一种集群计算机架构，该集群计算机架构包括经由通信接口连接在一起的多个计算节点和多个增强器。资源管理器负责在运行时间期间以动态方式将增强器和计算节点中的一个或多个分配给彼此。在克劳斯(Clauss)等人的“面向交互式超级计算的具有内部分配协同调度的动态处理管理”(COSH，2016年1月19日，捷克共和国，布拉格)中描述了这样的动态处理管理的示例，其出于所有目的通过引用合并于此。尽管WO'247的布置提供了用于将增强器分配给计算节点的灵活布置，但是它没有解决如何在计算节点与增强器之间分配任务。

由艾克尔(Eicker)等人在“DEEP项目：对于许多核心时代中的异构集群计算的替选方法”(并发计算：实践、实验，2016；28：2394-2411)中进一步描述了WO'247的布置。所描述的异构系统包括通过可切换网络连接的多个计算节点和多个增强器节点。为了处理应用，该应用被“任务化(taskify)”，以提供可以将哪些任务从计算节点卸载(off-load)到增强器的指示。该任务化是通过应用开发人员利用注解(pragma)以及另外的标记对代码进行注释来实现的，其中，注解(pragma)指示不同任务之间的依赖关系，标记指示将要由增强器处理的高度可扩展的代码部分。在该上下文中，可扩展性意味着，当供应给服务的负载增加时，硬件的增量式和线性增加可以维持相同的每用户服务水平。

US2017/0262319A1在一个方面中描述了运行时处理，所述运行时处理可以完全或部分地将数据的分发以及任务到计算资源的映射自动化。为了将动作映射到可用资源，可能仍然需要所谓的调优专家，即人工操作员。本质上，它描述了可以如何将要计算的给定应用映射到给定的计算层级结构上。

发明内容

本发明提供了一种操作异构计算系统的方法，所述异构计算系统包括多个计算节点和多个增强器节点，所述多个计算节点和多个增强器节点中的至少一个被布置为对计算任务进行计算，所述计算任务包括多个子任务，其中，在第一计算迭代中，所述多个子任务在第一分布中被分配给并且由所述多个计算节点和增强器节点中的节点来处理；使用与由所述多个计算节点和增强器节点对所述多个子任务的处理有关的信息来生成子任务在计算节点与增强器节点之间的其他分布，以便在其他计算迭代中进行处理。

优选地，该信息由在计算节点和增强器节点中的每个中运行的相应守护进程(daemon)来提供。所提供的信息允许应用管理器确定是否可以对子任务在计算节点与增强器节点之间的分布进行适配或改进以进行其他计算迭代。

资源管理器可以根据计算任务和其他参数为第一迭代确定任务和子任务到计算节点和增强器节点的分配。应用管理器将信息处理为对资源管理器的输入，使得资源管理器在计算任务的计算期间动态更改其他分布。

在本发明的另一方面，资源管理器基于该信息在计算任务的计算期间动态更改计算节点和增强器节点到彼此的分配。

初始分布还可以由应用管理器使用由系统用户在供系统执行而编译的编程代码中提供的信息来确定。替选地，应用管理器还可以被布置成基于对子任务编码的分析来生成这样的分布。