[发明专利]一种云计算平台中的异构分布式任务处理系统及其处理方法

权利要求书

1.一种云计算平台中的异构分布式任务处理系统，其特征在于，所述系统包括任务加载器、任务调度器、任务启动器以及任务执行器；

所述任务加载器，用于读取并加载预先保存的任务描述信息，将所述任务描述信息生成对应的任务描述对象，并将生成的任务描述对象保存入任务队列中；

所述任务调度器，用于获取所述任务队列中的任务描述对象，并采用预定调度算法对所述任务描述对象进行调度排序，生成顺序变化的待提交任务队列；

所述任务启动器，用于获取待提交任务队列中的任务描述对象，并根据待提交队列中任务描述对象的顺序以及spark集群上执行资源的使用状态，依次启动所述任务描述对象并将其提交到spark集群上；

所述任务执行器，用于执行提交到spark集群上的任务描述对象；

所述任务调度器，用于获取所述任务队列中的任务描述对象，并采用预定调度算法对所述任务描述对象进行调度排序，生成顺序变化的待提交任务队列具体包括：

任务调度器获取所述任务队列中的任务描述对象，判断其任务类型是否为GPU，若为GPU任务，则放入GPU任务队列中，否则，将其放入CPU任务队列中；

分别对GPU任务队列中的GPU任务和CPU任务队列中的CPU任务采用预定调度算法进行调度排序，生成待提交GPU任务队列和待提交CPU任务队列；

将生成的待提交GPU任务队列和生成的待提交CPU任务队列合并，得到所述待提交任务队列。

2.如权利要求1所述的云计算平台中的异构分布式任务处理系统，其特征在于，所述任务加载器，用于读取并加载预先保存的任务描述信息，将所述任务描述信息生成对应的任务描述对象具体包括：

所述任务加载器读取从web前端传入的保存有任务描述信息的XML文件或者从本地描述文件中加载保存有任务描述信息的XML文件；

所述任务加载器根据所述XML文件生成对应的任务描述对象。

3.如权利要求1所述的云计算平台中的异构分布式任务处理系统，其特征在于，所述分别对GPU任务队列中的GPU任务和CPU任务队列中的CPU任务采用预定调度算法进行调度排序具体包括：

根据每一个GPU任务执行所需要的CPU核数以及执行时间估值，对GPU任务队列中的GPU任务进行调度排序；

根据每一个CPU任务执行所需要的CPU核数以及执行时间估值，对CPU任务队列中的CPU任务进行排序。

4.如权利要求3所述的云计算平台中的异构分布式任务处理系统，其特征在于，所述任务启动器还用于：

当从待提交任务队列中获取的为GPU任务描述对象，则将其提交到spark集群上存在空闲GPU资源的节点上；

当从待提交任务队列中获取的为MPI任务描述对象，则根据MPI任务描述对象中的启动参数，将其提交到spark集群中存在空闲资源的对应节点上；

当从待提交任务队列中获取的为spark任务描述对象，则作为普通任务提交到spark集群中存在空闲资源的对应节点上。

5.如权利要求1所述的云计算平台中的异构分布式任务处理系统，其特征在于，所述任务执行器还用于：

记录各任务描述对象在spark集群上的总执行时间。