[发明专利]边缘环境下动态负载均衡的深度强话化学习资源调度方法

权利要求书

1.一种边缘环境下动态负载均衡的深度强话化学习资源调度方法，其特征在于，包括以下步骤：

S1，对读取的数据进行预处理：将源数据集中CPU、IO、MEN这三个不同资源的利用率封装成为新的数据Task，Task代表任务请求；

S2，将服务器的状态值转换为Actor网络模型能够处理的格式：先读取服务器状态信息，数据此时为list类型；然后将所述服务器状态信息添加到result数组中，最后转换为numpy类型，使得数据输入符合模型的输入要求；

S3，初始化Actor网络模型和Critic网络模型的参数值：Actor网络模型初始化输入的服务器状态的维度以及执行动作的维度；Critic网络模型初始化执行动作的维度；

S4，通过Actor网络模型提供调度决策将任务分配到合理的服务器上：将当前的服务器状态信息以及服务器的个数信息传入Actor网络模型，然后经过Actor网络模型输出调度策略的概率分布，进行选择服务器操作；

S5，在调度任务执行完成后释放所占用的服务器资源；

S6，判断服务器能否执行新的调度任务；

S7，更新执行调度任务后服务器资源发生的变化：对执行调度任务的服务器的资源进行更新，将服务器当前剩余的资源数目减去任务执行时所需要的服务器资源大小得到服务器新的资源信息；

S8，对于当前调度决策，奖励值模块反馈一个奖励值，评价调度决策的好坏。

2.根据权利要求1所述的一种边缘环境下动态负载均衡的深度强话化学习资源调度方法，其特征在于，所述Actor网络模型由三层全连接网络构成，先由输入层将服务器的状态信息经过线性转化为隐藏层的输入信息，再通过隐藏层进行映射降维，最后输出层输出选择服务器的概率分布；其中，每一层网络对数据进行压缩，压缩至(0,0.1)之间，这是为了网络能够在合理的时间内收敛；

所述Critic网络模型由三层全连接网络构成，先由输入层将状态信息经过线性转化为隐藏层的输入信息，然后通过隐藏层进行映射降维，将服务器线性变化的状态信息传入输出层，输出层输出对当前动作的价值估即预测的总奖励值。

3.根据权利要求1所述的一种边缘环境下动态负载均衡的深度强话化学习资源调度方法，其特征在于，所述S5包括：

首先判断执行任务队列中任务的执行时间是否满足设定的任务截止时间，若满足则代表任务执行完毕，则依次对所有满足释放条件的执行任务的服务器进行资源释放操作；执行完释放操作之后要将该服务器上任务从执行任务队列中移除，最后返回释放过后的资源池的信息。

4.根据权利要求1所述的一种边缘环境下动态负载均衡的深度强话化学习资源调度方法，其特征在于，所述S6包括：

先对任务进行预调度，得到预调度之后的服务器剩余资源，所述剩余资源为服务器的当前资源与任务所需资源的差值；

如果任务的执行时间在任务截止时间内，且服务器的剩余资源都大于0，则可以执行任务的调度操作；

如果任务的执行时间在任务的截止时间内，但是服务器的剩余资源小于0即资源不足则拒绝提供服务；

如果任务的执行时间大于截止时间，则该任务超时拒绝执行任务。