[发明专利]一种高通量计算任务管理方法及系统

说明书

本发明涉及一种高通量计算任务管理方法及系统，其中所述方法包括：S1.将M个计算任务分为N组，每组分配给一个计算执行单元；S2.计算执行单元接收分配到的计算任务，并创建任务记录表记录所述计算任务；S3.计算执行单元从所述任务记录表中提取一个计算任务并判断所述计算任务是否已处理，若判断所述计算任务为未处理，则执行所述计算任务，若判断所述计算任务为已处理，则继续提取下一个计算任务并继续进行已处理的判断；S4.当所述任务记录表中的所有计算任务都判断为已处理时，所述计算执行单元从其它计算执行单元获取一个未处理的计算任务，并进行处理。本发明能够避免单点故障问题且可以保障负载均衡。

技术领域

本发明涉及高性能计算领域，更具体地，涉及一种高通量计算任务管理方法及系统。

背景技术

在高性能计算领域，存在一类应用，这些应用包含大量的小计算任务。例如，在上万种的候选材料中，通过数值计算寻找对氢分子吸附量最大的材料。这项工作需要分别计算每种材料在不同的压强条件下，材料对氢分子的吸附量。整个过程需要执行数十万个独立的计算任务，并且每个计算任务使用相同的计算程序，只是输入输出不同。这些计算任务通常被称为高通量计算任务。

目前，高通量计算任务管理方法主要有两类，一类是在计算任务执行前，把M个计算任务拆分成N组，每组分配给一个计算执行单元，每个计算执行单元独立完成分配到的计算任务，这种方法的典型例子是staskfarm软件；另一类使用抢占式分配方法，计算开始的时候，其中的一个计算执行单元被指定为任务分配单元，剩下的N-1个计算执行单元从任务分配单元获取计算任务，每次只获取一个计算任务，完成后再获取下一个计算任务，直到M个计算任务都完成，这种方法的典型代表是fireworks软件；前一类方法实现较为简单，但是因为每个计算任务的执行时间长短不一，容易出现负载不均衡的问题；后一类方法可以解决负载不均衡的问题，但是存在单点故障问题，如果任务分配单元出现故障，整个计算都会失败。

发明内容

本发明旨在克服上述现有技术的至少一种缺陷(不足)，提供一种高通量计算任务管理方法及系统，能够避免单点故障问题且可以保障负载均衡。

一方面，提供一种高通量计算任务管理方法，包括以下步骤：

S1.将M个计算任务分为N组，每组分配给一个计算执行单元；

S2.计算执行单元接收分配到的计算任务，并创建任务记录表记录所述计算任务；S3.计算执行单元从所述任务记录表中提取一个计算任务并判断所述计算任务是否已处理，若判断所述计算任务为未处理，则执行所述计算任务，若判断所述计算任务为已处理，则继续提取下一个计算任务并继续进行是否已处理的判断；

S4.当所述任务记录表中的所有计算任务都判断为已处理时，所述计算执行单元从其它计算执行单元获取一个未处理的计算任务，并进行处理。

通过把计算任务分配到各个计算执行单元，使计算执行单元在获取计算任务时能直接从本计算单元获取，提高计算效率；当本计算执行单元完成计算任务后可以从其他计算执行单元获取计算任务，从而可以保障负载均衡且各个计算执行单元具有计算任务分配的功能，计算执行单元发生故障时不会影响其他计算执行单元的工作，避免了单点故障问题。

进一步地，在所述将M个计算任务分为N组，每组分配给一个计算执行单元之前，还包括在每个计算执行单元上运行一个网络程序服务，创建地址记录表记录所有计算执行单元运行的网络程序服务的地址，并将所述地址记录表发送给所有计算执行单元。

通过创建地址记录表记录所有计算执行单元运行的网络程序服务的地址并将所述地址记录表发送给所有的计算执行单元，使得所有计算执行单元具有计算任务分配功能。

进一步地，所述计算执行单元接收分配到的计算任务，并创建任务记录表记录所述计算任务具体为：计算执行单元通过运行所述网络程序服务接收分配到的计算任务，并将所述计算任务标记为未处理记录在所述创建的任务记录表中。