[发明专利]边缘环境下动态负载均衡的深度强话化学习资源调度方法

说明书

本发明提出了一种边缘环境下动态负载均衡的深度强话化学习资源调度方法，包括以下步骤：S1，对读取的数据进行预处理；S2，将服务器的状态值转换为Actor网络模型能够处理的格式；S3，初始化Actor网络模型和Critic网络模型的参数值；S4，通过Actor网络模型提供调度决策将任务分配到合理的服务器上；S5，在调度任务执行完成后释放所占用的服务器资源；S6，判断服务器能否执行新的调度任务；S7，更新执行调度任务后服务器资源发生的变化；S8，对于当前调度决策奖励值模块反馈一个奖励值，评价调度决策的好坏。本发明能使得所有服务器在任务调度资源得到充分利用，实现服务器的负载均调度。

技术领域

本发明涉及边缘计算领域，特别是涉及一种边缘环境下动态负载均衡的深度强话化学习资源调度方法。

背景技术

服务器的负载均衡是许多服务提供商都比较关注的问题，如何去解决由于任务调度不合理导致的负载不均衡的情况是目前急需解决的难题。传统的启发式算法在一般环境下表现良好，但是面对复杂环境下启发式算法无法适应系统中的环境的持续变化。传统方法将任务调度到某台服务器上执行。此时服务器的状态发生了改变，但是调度中心并不能接受到这些信息，导致调度中心并不能更新的服务器资源变化做出最优的调度策略。强化学习是基于真实的实际数据建模的，并且可以识别复杂的环境，为解决服务器负载均衡提供了技术支持和解决方案。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种边缘环境下动态负载均衡的深度强话化学习资源调度方法。

为了实现本发明的上述目的，本发明提供了一种边缘环境下动态负载均衡的深度强话化学习资源调度系统，包括：

数据预处理模块：用于对读取的数据进行预处理；

输入状态处理模块：用于将服务器的状态值转换为模型能够处理的格式；

模型初始化模块：用于初始化Actor网络模型和Critic网络模型的参数值；

调度策略模块：用于决定下一个任务将调度到哪一台服务器上执行任务，将任务通过Actor提供调度决策分配到合理的服务器上；

资源释放模块：用于在调度任务执行完成后释放所占用的服务器资源。

服务器资源检测模块：用于判断服务器能否执行新的调度任务；

服务器资源更新模块，用于更新执行调度任务后服务器资源发生的变化；

奖励值模块：对于当前调度决策奖励值模块会反馈一个值，评价其调度的好坏。

本发明还提出一种缘环境下动态负载均衡的深度强话化学习资源调度方法，包括以下步骤：

S1，对读取的数据进行预处理：将源数据集中CPU、IO、MEN这三个不同资源的利用率封装成为新的数据Task，Task代表任务请求；

预处理过程中，将源数据中的每类数据依次按行读取，将每一行的数据封装成一个任务请求，直至源数据读取完毕。

S2，将服务器的状态值转换为Actor网络模型能够处理的格式：先读取服务器状态信息，数据此时为list类型；然后将所述服务器状态信息添加到result数组中，最后转换为numpy类型，使得数据输入符合模型的输入要求；所述状态信息为所有服务器的状态值集合；

S3，初始化Actor网络模型和Critic网络模型的参数值：Actor网络模型初始化输入的服务器状态的维度以及执行动作的维度；所述服务器状态的维度即服务器的数据类型，在本文中为CPU、IO、MEN，则为3；执行动作的维度即服务器的数量。Critic网络模型初始化执行动作的维度；