[发明专利]一种分层分簇调度方法、系统、介质及设备

说明书

本发明公开了一种分层分簇调度方法、系统、介质及设备，采集集群的各类资源数据、生成节点延迟矩阵；根据调度任务的一般容忍调用响应时间选择合适的延迟分层调度，查找当前选择的延迟分层是否存在，如果不存在则使用完全子图划分方法对集群节点组成的图进行分簇，分簇完成后将分簇信息以不同延迟标准分层保存，如果存在则读取当前延迟分层的分簇信息；然后依据簇群优先级公式计算各个簇群的优先级，选择优先级高的簇群进行调度。本发明通过将任务限制在簇群中调度，能够显著降低由节点间高延迟带来的任务响应时间过大的性能开销。

技术领域

本发明属于云计算资源调度技术领域，具体涉及一种分层分簇调度方法、系统、介质及设备。

背景技术

面对日益增长的数据计算需求，构建一个灵活的新型分布式高性能低延迟计算系统显得尤为重要。新型分布式高性能低延迟计算系统通过体系资源的优化调度、单元的分布式协同和信息的聚合提高系统整体计算能力和资源利用效率。其中，“面向大数据处理的高性能计算”主要是建立在云计算的相关技术之上的，云计算是谷歌在“Google 101计划”中提出的概念，目前分为集中式云计算和边缘云计算。新型分布式高性能低延迟计算集群一方面与集中式云计算集群所处的局域网环境不同，另一方面也与边缘云计算集群的计算卸载不同，它建立在地理上跨度很广的大范围专用网中，网络拓扑结构不稳定，带宽资源有限，节点间的网络延迟差异大，中心节点的计算能力强，边缘节点不具备计算能力，因此中心节点的高性能计算存在着由网络延迟过高导致的计算瓶颈。

在面向大数据处理的高性能计算背后存在着大量具有低时延需求的任务，这类任务对任务间的调用响应时间要求严苛，需要集群的调度器在调度时将任务分配到合适的节点上运行，从而尽可能地降低任务间的调用响应时间，同时这类任务也关心同类型任务的分布状态，需要避免大量同类型任务集中到单个节点。目前没有一个完整的解决方案去合理调度这类任务，因此如何在地理跨度广的专用网环境下实现出一个便于部署这类低时延需求任务的分布式调度方法成为亟需解决的问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种分层分簇调度方法、系统、介质及设备，用于解决针对地理分布集群中存在的网络拓扑结构不稳定，带宽资源有限，节点间的网络延迟差异大性能瓶颈的技术问题，能够显著减少任务间的调用响应时间。

本发明采用以下技术方案：

一种分层分簇调度方法，包括以下步骤：

S1、采集地理分布集群中的资源数据，生成节点延迟矩阵；

S2、指定待调度任务的一般容忍调用响应时间；

S3、根据步骤S2得到的调度任务一般容忍调用响应时间选择合适的延迟分层调度，判断当前选择的延迟分层；

S4、当步骤S3不存在当前选择的延迟分层，将步骤S1得到的节点延迟矩阵以步骤S2得到的待调度任务的一般容忍调用响应时间作为延迟标准进行划分，对节点延迟矩阵进行建图，使用完全子图划分方法对新建图分簇，然后将分簇信息以该延迟标准命名的分层保存；

S5、当步骤S3存在当前选择的延迟分层，读取当前延迟分层的分簇信息或步骤S4得到的分簇信息，根据分簇选择算法计算各个簇群的优先级，选择优先级高的簇群进行调度，将待调度任务限制在对应簇群中，实现分层分簇调度。

具体的，步骤S1中，资源数据包括节点CPU资源拥有总量、节点CPU资源可分配总量、节点内存资源拥有总量和节点内存资源可分配总量。

具体的，步骤S4中，将步骤S1采集到的节点延迟矩阵以步骤S2得到的待调度任务的一般容忍调用响应时间作为延迟标准进行划分具体为：

S401、在获取延迟矩阵后，先遍历整个矩阵将小于延迟标准的延迟值置0，作为给定延迟层的邻接矩阵；