[发明专利]集群负载资源调度方法、装置、电子设备及可读存储介质

说明书

本发明提供一种集群负载资源调度方法、装置、电子设备及可读存储介质，所述负载为容器和/或虚拟机，该方法包括：从调度任务队列中获取待调度任务；根据集群中K个主机的M种资源类型的实际资源利用率以及待调度任务，确定每一主机的各种资源在增加待调度任务后的预测资源利用率；对于每一主机，根据该主机的M种资源类型的预测资源利用率计算该主机的预测资源利用率的平均值和方差，并根据该主机的预测资源利用率的平均值和方差计算该主机的平均资源利用率；将待调度任务下发给K个主机中平均资源利用率最小的主机。这样，不仅可以充分利用主机的资源，还可以对各类资源进行动态调整以达到均衡，提高灵活性和系统整体性能和稳定性。

技术领域

本发明涉及通信网络数据技术领域，尤其涉及一种集群负载资源调度方法、装置、电子设备及可读存储介质。

背景技术

随着通信网络数据技术的发展，基于虚拟化技术的服务器集群规模越来越大，在大规模虚拟化集群环境中，虚拟机的数目甚至达到数万台，为了提高数据中心资源的利用率，一般通过对物理资源的抽象，采用资源隔离技术实现虚拟化。

现有技术中，通常采用基于静态的Openstack，Kubernetes，Mesos等资源分配方案，具体的，由系统维护人员，对虚拟机或容器资源进行人工监控，在发现集群资源消耗影响到系统性能的情况下，手动对虚拟机资源进行迁移或对主机资源进行调整，以满足整个集群性能的要求。

但是，上述方法是静态配置，若资源下发后，即使未使用，也无法被新任务使用，造成资源空占的现象，浪费资源，而且无法对资源进行动态调整以达到均衡，缺乏灵活性，降低系统性能和增加宕机风险。

发明内容

本发明提供一种集群负载资源调度方法、装置、电子设备及可读存储介质，可以充分利用主机的资源，对各类资源均衡进行动态调整，提高灵活性和系统性能。

第一方面，本发明提供一种集群负载资源调度方法，所述负载为容器和/或虚拟机，该方法包括：从调度任务队列中获取待调度任务；根据集群中K个主机的M种资源类型的实际资源利用率以及所述待调度任务，确定每一主机的各种资源在增加所述待调度任务后的预测资源利用率；所述M种资源类型包括下述至少两种：中央处理器、内存、磁盘和网络；对于每一主机，根据该主机的M种资源类型的预测资源利用率计算该主机的预测资源利用率的平均值和方差，并根据该主机的所述预测资源利用率的平均值和方差计算该主机的平均资源利用率；将所述待调度任务下发给所述K个主机中平均资源利用率最小的主机。

可选的，每一主机的平均资源利用率通过以下公式确定：

其中，T表示主机的平均资源利用率；R_{i_cur}表示主机的所有任务的第i种资源类型的实际资源利用率；R_i表示待调度任务的第i种资源类型的资源利用率；表示主机的资源利用率的平均值。

可选的，待调度任务的资源利用率通过如下方法确定：

其中，R_i表示待调度任务的第i类资源类型的资源利用率；RR_i表示待调度任务所声明第i类资源类型使用的资源量；RT_i表示候选主机的第i类资源类型的总资源量。

可选的，每个预设周期，获取K个主机的M种资源类型的实际资源利用率；根据所述K个主机的M种资源类型的实际资源利用率判断所述K个主机的资源利用率是否超过阈值；若任一主机的任一类型的资源利用率超过阈值，则对该主机的任务进行驱逐。