[发明专利]一种图形化建模的多集群资源调度方法及系统

说明书

本发明提供了一种图形化建模的多集群资源调度方法及系统，包括：基于集群资源管理的需求选择算法包和以各集群作为节点构建的数据集利用图形化方式建立业务分析模型；根据所述业务分析模型构建DAG任务流，并将所述DAG任务流进行任务实例化，并下发到各集群的大数据平台；基于各节点处的集群的健康状态以及下发到各集群的任务实例化对集群资源进行调度；本发明的技术方案将多集群环境资源异构且地域分散的资源进行统一协调分配。

技术领域

本发明涉及一种图形处理领域，具体讲涉及一种图形化建模的多集群资源调度方法及系统。

背景技术

建模与仿真技术是一种用于分析复杂系统行为的重要技术手段。传统手动编程的建模开发方式既需要建模人员深入学习系统建模相关的基础理论知识和框架，也需要熟练掌握对应计算平台的编程语言和交互接口，导致建模过程开发门槛高、开发周期长、维护成本大和升级模块困难，难以满足建模业务频繁更新、高效集成的时机要求。面向业务的图形化建模平台的建模层次要高于通用程序设计语言，为建模分析人员提供直观快速的方式，能够屏蔽底层软硬件平台技术，降低建模开发的门槛。

经调研，目前大部分图形化建模平台为同质网络下的单节点/单集群的系统。其主要方案分为：

①面向某领域的传统图形化建模分析系统及实现方法，包括模型资源管理模块、模型组成图元模块、模型图形化构建模块和模型状态分析模块；

②面向某状态的传统图形化建模分析系统及实现方法，包括模型构建模块、状态生成模块、状态分析模块、统计分析模块；

③面向大数据的图形化建模分析系统及实现方法，包括大数据模型构建模块、模型图元生成模块、模块状态分析模块。

目前的图形化建模方案中：首先，未考虑针对多集群环境资源异构且地域分散、网络环境不可靠以及面向用户需求的特点；其次，未考虑统一模型下发需求及并行结果收集分析功能，故并未关注多节点任务并发、资源监控和作业调度的问题。

发明内容

为解决现有技术存在的未考虑针对多集群环境资源异构且地域分散、网络环境不可靠以及面向用户需求的特点，以及未关注多节点任务并发、资源监控和作业调度的问题；本发明提供了一种图形化建模的多集群资源调度方法，包括：

基于集群资源管理的需求选择算法包和以各集群作为节点构建的数据集利用图形化方式建立业务分析模型；

根据所述业务分析模型构建DAG任务流，并将所述DAG任务流进行任务实例化，并下发到各集群的大数据平台；

基于各节点处的集群的健康状态以及下发到各集群的任务实例化对集群资源进行调度。

优选的，所述根据所述业务分析模型构建DAG任务流，并将所述DAG任务流进行任务实例化，并下发到各集群的大数据平台，包括：

对所述业务分析模型进行封装形成算法应用；

对所述算法应用进行标签化管理；

对所述算法应用根据参数对任务实例化，同时将实例化任务按照标签下发到各集群的大数据平台；

其中，所述参数包括：节点、时间/数据、算子。

优选的，所述基于各节点处的集群的健康状态以及下发到各集群的任务实例化对集群资源进行调度，包括：

对下发的实例化任务解析为大数据平台可执行的DAG任务流；

根据节点健康状态，选取调度算法；

基于可执行的DAG任务流划分资源节点，结合选取的调度算法和所述算法应用的标签进行集群资源调度。

优选的，所述对下发的实例化任务解析为大数据平台可执行的DAG任务流，包括：