[发明专利]一种多CPU/GPU异构服务器的功耗控制方法

说明书

一种多CPU/GPU异构服务器的功耗控制方法。首先用户将作业提交到服务器功耗控制框架，其中的作业调度器接收到作业后初始化，获取作业信息；接着，作业调度器将作业信息发送到功耗控制器，对信息进行绑定后，功耗控制器内部的最佳选择方法按照作业信息选取一种策略给每个处理组件分配功率预算。然后每个处理组件向功耗控制器返回功耗情况，按照返回的功耗情况，功耗控制器中的最佳选择方法自我更新，完成后方法重置。本发明以服务器吞吐量最大化为目标，提出了一种采用强化学习的功耗控制方法，其时间复杂度是多项式时间，可以适用于处理在线的、大规模作业；采用强化学习的方法自动选取策略，能够自我学习、自我更新，可以适用于各种不同场景。

技术领域

本发明涉及一种多CPU/GPU异构服务器的功耗控制方法，即在满足服务器总功耗和作业优先级以及作业时限的前提下，采用合理的功耗预算分配方法，从而保证作业的顺利完成并且最大化服务器吞吐量。

背景技术

云计算提供商和高性能计算(HPC)集群通常依赖于由多个CPU和GPU组成的服务器节点来处理高性能密集型计算。多CPU/GPU服务器提供了高并行性，减少了网络上的通信需求。从本质上讲，这些服务器要比普通服务器消耗更多的能量。由于有多个CPU、GPU和大量内存，单个服务器的峰值功耗可以根据其具体配置轻松达到500-1000瓦。考虑到服务器的功耗因负载而异，超级计算机和云提供商通常使用功率上限机制将功耗限制在符合电气规范(如断路器额定值)和冷却设备的安全级别。一个集中式或层级化的功率上限系统会持续工作，一旦感知到不安全的功率级别，它就会指示各个服务器节点将其功耗限制在某个级别。每个节点上的功率上限控制器通过减小CPU的功耗来控制功率上限。

多CPU、GPU服务器在功率上限控制上有三个的突出问题。第一，这些服务器有多个CPU和GPU,每个都有自己的功率控制器，因此，满足给定的功率上限必须涉及同一服务器上的各个处理组件控制器之间的协调。第二，CPU和GPU之间的工作负载特性经常发生变化，这就要求控制器在CPU和GPU之间进行功率预算的转移，同时仍然不超过功率上限。第三，多CPU/GPU异构服务器常常同时处理许多作业以充分利用服务器资源，这些作业有各种不同的优先级和截止时间的要求，必须在功率控制时加以考虑，以减轻功率控制对性能的影响。

发明内容

本发明主要针对多CPU/GPU异构服务器控制功率上限的三个突出问题：同一服务器上的各个处理组件控制器之间的协调、CPU和GPU之间进行功率预算的转移、作业有各种不同的优先级和截止时间的要求，提出了一种多CPU/GPU异构服务器的功耗控制方法。

本发明中功耗控制器在多CPU/GPU异构服务器的各类处理组件控制器功耗之间动态地调节预算，在满足服务器功耗上限的同时最大化性能。本发明中提出了适用于不同工作负载特征场景的4种重启发式策略，分别为(1)统一分配策略：将总预算平均分配给各个处理组件；(2)功耗优先策略：将某些处理组件中预算多余的功耗分配至功耗预算不足的处理组件上；(3)截止时间优先策略：把更多的功率预算分配给正在运行且临近作业截止日期的处理组件；(4)截止时间-功耗优先策略：同时考虑功耗和截止时间的优先性。这些策略在不同的处理组件(如CPU和GPU)之间协调和转移功率预算，同时试图最大化节点的性能。由于每个策略针对不同的工作负载特性,本发明提出了最佳选择方法，该方法使用强化学习的参与者批评者方法在线选择策略。根据所观察到的系统状态，最佳选择方法能够进行学习,并将根据工作负载特征的自动进行策略选择。最佳选择方法能通过系统的性能反馈不断地更新自己。

功耗控制方法主要是采用强化学习的方法，动态地选取功率分配策略来为每个处理组件分配功率预算，根据本次预算分配后各个处理组件产生的功耗情况，最佳选择方法进行学习，并更新自己。具体功耗控制方法步骤如下：

(1)用户将作业提交到服务器功耗控制框架；

(2)服务器功耗上限控制框架中的作业调度器接收用户提交的作业；

(3)初始化处理到达作业调度器的作业，获取作业信息：截止时间，优先级等；