[发明专利]一种数据中心能耗联合优化方法、系统、介质及设备

权利要求书

1.一种数据中心能耗联合优化方法，其特征在于，包括以下步骤：

S1、构建数据中心多智能体环境；

S2、根据任务调度智能体scheduling_agent的状态空间、动作空间和奖励函数构建任务调度强化学习模型，具体为：

S201、建立scheduling_agent的状态空间，scheduling_agent的状态空间包括内部的资源状态和外部的环境状态，用二进制矩阵表示scheduling_agent的内部资源状态，包括机器资源的当前状态和队列中作业请求的资源配置情况，用s*t的二维矩阵表示某一类资源的状态，s表示资源最大容量，t表示最长执行时间，外部的环境状态包括服务器入口温度和服务器温度；

S202、建立scheduling_agent的动作空间，将动作action定义为i*q+j,表示将队列中的作业j分配给机器i，动作空间大小为m*q+1,m表示机器数，q表示等待任务队列的长度，动作空间包含一种无效操作，表示scheduling_agent在当前时间没有进行调度；

S203、根据二维矩阵的占用比例可以计算出各类资源的占用率，根据服务器的功耗模型P_machine，结合温度限制条件设计scheduling_agent的奖励函数如下：

其中，第一部分为平均功率，目标是最小化，第二部分表示过热的惩罚函数，λ表示惩罚因子，当服务器功率超过温度阈值时会加大惩罚，从而反馈一个更小的奖励值；

S204、构建scheduling_agent的网络结构，scheduling_agent的控制网络包括两个网络：Actor网络和Critic网络，Actor网络包括动作估计网络和动作现实网络，两者具有相同的网络结构，动作现实网络每隔一段时间更新网络参数；Actor网络输入状态state为二维矩阵，输出为离散的动作action，网络结构包括两个二维卷积层和两个全连接层；

Critic网络具备双网络结构：状态估计网络和状态现实网络，Critic网络的输入是状态state和由Actor网络产生的动作action以及其他agent的信息，输出是动作对应的状态动作值函数，网络结构中第一层除卷积层外，再加一层全连接层用于输入动作action；

S3、根据温度调控智能体cooling_agent的状态空间、动作空间和奖励函数构建温度调控强化学习模型；

S4、基于步骤S2和步骤S3构建异构多智能体强化学习的联合控制模型，向联合控制模型中导入步骤S1构建的数据中心多智能体环境；

S5、使用步骤S4的联合控制模型，以数据中心整体能耗最小化为目标集中训练scheduling_agent与cooling_agent，实现整体能耗最小化。

2.根据权利要求1所述的方法，其特征在于，步骤S1中，数据中心多智能体环境具体为：

设定数据中心环境中存在精密空调、若干个服务器和若干个任务等待被执行，所有服务器属于同一个集群，每个服务器有若干种资源，还有一个固定长度的等待任务队列，每个任务在固定的时间段内请求固定数量的不同资源；在每个离散的时间步，传入的作业到达并进入等候队列，当队列已满时，后续作业的数量将保存在backlog中；集群的任务调度智能体scheduling_agent选择作业并分配给机器的分配，机器的温度随机器上任务的运行情况变化，精密空调中的温度调控智能体cooling_agent负责调整温度冷却发热的服务器。