[发明专利]一种云计算平台中的异构分布式任务处理系统及其处理方法

摘要

本发明公开了一种云计算平台中的异构分布式任务处理系统及其处理方法，所述处理系统包括任务加载器、任务调度器、任务启动器以及任务执行器；任务加载器，用于将加载的任务描述信息生成对应的任务描述对象，并保存入任务队列中；任务调度器，用于采用预定调度算法对任务队列中的任务描述对象进行调度排序，生成顺序变化的待提交任务队列；任务启动器，用于根据待提交队列中任务描述对象的顺序以及spark集群上执行资源的使用状态，依次启动所述任务描述对象并将其提交到spark集群上；所述任务执行器，用于执行提交到spark集群上的任务描述对象。通过本发明，能够在云计算平台上实现异构分布式任务的并行批处理。

主权项

一种云计算平台中的异构分布式任务处理系统，其特征在于，所述系统包括任务加载器、任务调度器、任务启动器以及任务执行器；所述任务加载器，用于读取并加载预先保存的任务描述信息，将所述任务描述信息生成对应的任务描述对象，并将生成的任务描述对象保存入任务队列中；所述任务调度器，用于获取所述任务队列中的任务描述对象，并采用预定调度算法对所述任务描述对象进行调度排序，生成顺序变化的待提交任务队列；所述任务启动器，用于获取待提交任务队列中的任务描述对象，并根据待提交队列中任务描述对象的顺序以及spark集群上执行资源的使用状态，依次启动所述任务描述对象并将其提交到spark集群上；所述任务执行器，用于执行提交到spark集群上的任务描述对象；所述任务调度器，用于获取所述任务队列中的任务描述对象，并采用预定调度算法对所述任务描述对象进行调度排序，生成顺序变化的待提交任务队列具体包括：任务调度器获取所述任务队列中的任务描述对象，判断其任务类型是否为GPU，若为GPU任务，则放入GPU任务队列中，否则，将其放入CPU任务队列中；分别对GPU任务队列中的GPU任务和CPU任务队列中的CPU任务采用预定调度算法进行调度排序，生成待提交GPU任务队列和待提交CPU任务队列；将生成的待提交GPU任务队列和生成的待提交CPU任务队列合并，得到所述待提交任务队列。