[发明专利]一种资源调度方法及装置

权利要求书

1.一种资源调度方法，其特征在于，应用于资源管理器，所述资源管理器用于管理和调度集群资源，所述集群包括多个节点，与所述集群支持的计算框架适配的R个应用程序运行在所述多个节点上，R为正整数，所述方法包括：

所述资源管理器接收所述R个应用程序的资源请求；

所述资源管理器获取历史特征信息，所述历史特征信息包括第一历史特征信息和第二历史特征信息中的至少一项，所述第一历史特征信息为所述R个应用程序中的N个应用程序的历史特征；所述第二历史特征信息为所述多个节点中的M个节点的历史特征；所述M个节点为所述多个节点中的有空闲资源的M个节点，其中，应用程序的历史特征包括用于表示该应用程序的历史资源使用情况的信息和用于表示该应用程序的历史运行时间的信息中的至少一项，节点的历史特征包括该节点的故障率以及任务失败率中的至少一项，1≤N≤R，M≥1，N、M均为整数；

所述资源管理器根据所述第一历史特征信息和所述第二历史特征信息调整第一调度参数，其中，所述第一调度参数包括所述N个应用程序中的每个应用程序对应的调度参数和所述M个节点中的每个节点对应的调度参数，所述第一调度参数用于确定为所述N个应用程序调度资源的顺序和调度所述M个节点的资源的顺序；

所述资源管理器根据调整后的第一调度参数和第一调度策略为所述N个应用程序调度资源。

2.根据权利要求1所述的方法，其特征在于，所述N个应用程序的历史特征包括所述N个应用程序中的每个应用程序的综合历史运行时长；所述综合历史运行时长为该应用程序一次历史运行时长或多次历史运行时长的平均值或最高值；所述M个节点的历史特征包括所述M个节点中的每个节点的故障率和任务失败率，所述资源管理器根据所述第一历史特征信息和所述第二历史特征信息调整第一调度参数，包括：

所述资源管理器确定所述N个应用程序中的每个应用程序的综合历史运行时长；

所述资源管理器根据所述M个节点中的每个节点的故障率和任务失败率计算所述M个节点中的每个节点的健康率，一个节点的健康率等于该节点的故障率的α倍与该节点的任务失败率的β倍之和，α＝1-β，0＜α＜1；

所述资源管理器根据调整后的第一调度参数和所述第一调度策略为所述N个应用程序调度资源，包括：所述资源管理器将节点的健康率越高的节点的资源分配给综合历史运行时长越长的应用程序。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

所述资源管理器多次计算所述多个节点中的全部节点的任务成功率，并在每次计算完成后根据所述任务成功率调整所述α的值，直至确定出的所述α的值使得所述任务成功率最高为止。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述历史资源包括所述节点的中央处理器CPU资源、内存资源、磁盘空间资源、磁盘I/O资源、网络I/O资源和文件句柄数资源中的一种或多种资源。

5.一种资源调度方法，其特征在于，应用于资源管理器，所述资源管理器用于管理和调度集群资源，所述集群包括多个节点，与所述集群支持的计算框架适配的R个应用程序运行在所述多个节点上，R为正整数，所述方法包括：

所述资源管理器接收所述R个应用程序的资源请求；

所述资源管理器获取第二历史特征信息，所述第二历史特征信息为所述多个节点中的M个节点的历史特征；所述M个节点为所述多个节点中的有空闲资源的M个节点，其中，节点的历史特征包括该节点的故障率以及任务失败率中的至少一项，M≥1，M为整数；

所述资源管理器根据所述第二历史特征信息调整第二调度参数，所述第二调度参数包括所述M个节点中的每个节点对应的调度参数，所述第二调度参数用于确定调度所述M个节点的资源的顺序；

所述资源管理器根据调整后的第二调度参数和第二调度策略为所述R个应用程序中的至少一个应用程序调度资源。