[发明专利]一种图形化建模的多集群资源调度方法及系统

权利要求书

1.一种图形化建模的多集群资源调度方法，其特征在于，包括：

基于集群资源管理的需求选择算法包和以各集群作为节点构建的数据集利用图形化方式建立业务分析模型；

根据所述业务分析模型构建DAG任务流，并将所述DAG任务流进行任务实例化，并下发到各集群的大数据平台；

基于各节点处的集群的健康状态以及下发到各集群的任务实例化对集群资源进行调度。

2.如权利要求1所述的调度方法，其特征在于，所述根据所述业务分析模型构建DAG任务流，并将所述DAG任务流进行任务实例化，并下发到各集群的大数据平台，包括：

对所述业务分析模型进行封装形成算法应用；

对所述算法应用进行标签化管理；

对所述算法应用根据参数对任务实例化，同时将实例化任务按照标签下发到各集群的大数据平台；

其中，所述参数包括：节点、时间/数据、算子。

3.如权利要求2所述的调度方法，其特征在于，所述基于各节点处的集群的健康状态以及下发到各集群的任务实例化对集群资源进行调度，包括：

对下发的实例化任务解析为大数据平台可执行的DAG任务流；

根据节点健康状态，选取调度算法；

基于可执行的DAG任务流划分资源节点，结合选取的调度算法和所述算法应用的标签进行集群资源调度。

4.如权利要求3所述的调度方法，其特征在于，所述对下发的实例化任务解析为大数据平台可执行的DAG任务流，包括：

基于下发的实例化任务中的任务请求与模型参数查询数据库任务ID，当查询到任务ID时，直接调用所述任务ID对应的工作流执行器，若没有，则生成子任务，注册工作流执行器。

5.如权利要求4所述的调度方法，其特征在于，所述根据节点健康状态，选取调度算法，包括：

基于节点的属性获取值、属性对应的过滤比较条件，以及属性的影响因素结合健康度公式计算节点的综合健康度；

当所述节点的综合健康度为中/差时，选取感知调度算法；

当所述节点的综合健康度为优/良时，选取静态调度算法；

其中，所述调度算法包括：静态调度算法和感知调度算法。

6.如权利要求5所述的调度方法，其特征在于，所述健康度公式如下式所示：

式中，H(v)为节点v的综合健康度，p(k)为节点v的属性k获取值，b(k)为属性k对应的过滤比较条件，filter()函数为属性k的影响因素，T_FL为任务流层级数。

7.如权利要求1所述的调度方法，其特征在于，所述基于算法包和数据集利用图形化方式建立业务分析模型，包括：

将统计分析、大数据分析以及专业算法进行封装配置，构建算法仓库；

从所述算法仓库中根据实际业务需求选取算法包；

针对不同省公司下沉计算节点，构建统一数据模型与数据索引，建立数据仓库；

从所述数据仓库中根据实际业务需求选取数据集；

基于选取的算法包和数据集创建业务分析模型。

8.如权利要求1所述的调度方法，其特征在于，还包括：基于各节点处的集群的健康状态以及下发到各集群的任务实例化对集群资源进行调度时，对任务排队进度与执行进度的实时监控，并实时上报至服务器。

9.如权利要求8所述的调度方法，其特征在于，基于各节点处的集群的健康状态以及下发到各集群的任务实例化对集群资源进行调度后，还包括：

任务执行完成后，保存任务执行结果，生成任务历史记录，并向服务器返回任务结果。

10.一种图形化建模的多集群资源调度系统，其特征在于，包括：

图形化算法建模器，用于基于集群资源管理的需求选择算法包和以各集群作为节点构建的数据集利用图形化方式建立业务分析模型；还用于根据所述业务分析模型构建DAG任务流，并将所述DAG任务流进行任务实例化，并下发到各集群的大数据平台；

应用下沉调度管理，用于基于各节点处的集群的健康状态以及下发到各集群的任务实例化对集群资源进行调度。