[发明专利]一种计算资源优化方法、装置及服务器集群

说明书

本发明提供了一种计算资源优化方法、装置及服务器集群，所述方法包括：获取计算节点中处理至少一个计算任务中的第一计算任务占用计算资源的使用信息；基于所述使用信息，调整所述计算节点处理所述第一计算任务的配置信息。通过上述内容可以看出，上述的计算资源优化方法，通过对通过获取计算节点中处理至少一个计算任务中的第一计算任务占用计算资源的使用信息，并基于所述使用信息，调整所述计算节点处理所述第一计算任务的配置信息。使得该计算资源优化方法能够根据计算任务占用计算资源的实际使用信息，动态的调整计算节点处理该计算任务的配置信息，从而更加充分的利用整个计算资源，提高计算资源的整体的计算效率。

技术领域

本发明实施例涉及处理器技术领域，特别涉及一种计算资源优化方法、装置及服务器集群。

背景技术

大数据计算平台是由多个计算节点(例如计算机或服务器)组成的集群。现有的大数据计算平台在处理任务时所使用的硬件资源，如各个计算节点中的各个计算单元的CPU资源、内存资源和计算单元的总数等，都是在提交任务时预先配置或者采用集群默认配置的。

但是，在实际使用过程中，由于待处理任务的多样性，如待处理任务可能侧重计算，也可能侧重输入输出带宽等，很容易出现集群中各个计算节点的CPU资源、内存资源、网络资源以及磁盘资源使用的不均衡的情况，导致出现计算资源倾斜的问题。

例如，某个待处理任务的CPU资源的使用率很高，但磁盘资源的使用率很低，这就很有可能使CPU出现使用瓶颈。再例如，有些相对简单的待处理任务，在默认配置下，无法充分利用整个集群的计算资源，如默认的计算单元的总数较大，而每个计算单元的CPU资源、内存资源的使用率都很低，这就造成了计算资源的极大浪费。现有的方法均无法解决这些问题。

发明内容

本发明实施例提供了一种计算资源优化方法、装置及服务器集群，能够动态调整执行当前计算节点处理计算任务的配置信息，从而优化计算节点和集群对计算资源的利用，降低计算资源的浪费、提高计算的效率。

为了解决上述技术问题，本发明提供了一种计算资源优化方法，包括：

获取计算节点中处理至少一个计算任务中的第一计算任务占用计算资源的使用信息；

基于所述使用信息，调整所述计算节点处理所述第一计算任务的配置信息。

作为优选，其中，所述计算资源包括以下至少之一：

处理器资源；

内存资源；

网络资源；

硬盘资源。

作为优选，其中，所述第一计算任务由至少一个执行单元处理，所述执行单元配置有处理核心及内存资源，所述调整所述计算节点处理所述第一计算任务的配置信息，包括：

调整所述至少一个执行单元的配置。

作为优选，所述方法包括以下至少之一：

调整所述执行单元的总数量；和

调整所述执行单元的处理核心数量；和

调整所述执行单元的内存资源大小。

作为优选，所述基于所述使用信息，调整所述计算节点处理所述第一计算任务的配置信息，包括以下至少之一：

在处理器资源利用率低于第一阈值时，减少所述执行单元的处理核心数量；和

在所述处理器资源利用率高于第二阈值时，增加所述执行单元的处理核心数量；和

在内存资源利用率低于第三阈值时，减少所述执行单元的内存资源大小；和