[发明专利]基于强化学习算法的矿井数字孪生云平台资源调度方法

说明书

本申请涉及一种基于强化学习算法的矿井数字孪生云平台资源调度方法，包括：确定数字孪生系统中虚拟机数量；获取所有子任务的状态；将虚拟机数量和所有子任务的状态输入到强化学习模型中的演员网络中，得到虚拟机的调度路径。本申请解决了矿井数字孪生云平台资源调度问题，能在短时间内计算出资源调度的最短时间路径；构建的演员网络模型能够对当前任务情况进行过分析给出调度路径，评论家网络能够给演员网络的决策进行纠正，两者结合极大的缩短矿井数字孪生云平台调度资源路径规划的时间。

技术领域

本申请涉及矿井数字孪生领域，具体地，涉及一种基于强化学习算法的矿井数字孪生云平台资源调度方法。

背景技术

新一代信息技术与煤炭开采技术深度融合，为智能矿山技术变革、发展提供关键技术支撑，将推动煤炭工业创新、绿色、安全、高效发展。数字孪生作为煤矿智能化无人开采的核心技术，是人工智能理论方法与数字化技术的有机结合，数字孪生有望解决煤矿智能化无人开采中物理世界和信息世界交互与共智的关键技术难题，对推动矿山全生命周期智能化化建设和煤炭工业高质量发展具有重要意义。

近年来，云计算这种新型计算框架被应用于数字孪生云大规模数据的存储管理。它能够根据使用者的意图及时可靠的提供按需分配的服务与资源。随着使用者与业务的增加，云计算框架需要管理大量的软硬件资源。目前主要通过虚拟化技术，结合调度策略调整任务与资源的对应分配。但是由于系统的动态特性显著，影响调度性能的因素具有非线性，设计一种高效可靠的资源调度路径优化算法成为该领域的难点。

发明内容

为了克服现有技术中的至少一个不足，本申请实施例提供一种基于强化学习算法的矿井数字孪生云平台资源调度方法。

第一方面，提供一种基于强化学习算法的矿井数字孪生云平台资源调度方法，包括：

确定数字孪生系统中虚拟机数量；

获取所有子任务的状态；

将虚拟机数量和所有子任务的状态输入到强化学习模型中的演员网络中，得到虚拟机的调度路径。

在一个实施例中，方法还包括对强化学习模型进行训练，得到训练后的强化学习模型。

在一个实施例中，对强化学习模型进行训练，包括：

强化学习模型包括智能体和环境，智能体包括演员网络、评论家网络和环境；演员网络为基于价值的强化学习模型；评论家网络为基于策略的强化学习模型；

将虚拟机数量和所有子任务的状态输入到演员网络，输出动作，动作为虚拟机的调度路径；

动作输入到评论家网络，评论家网络对动作进行评价，得到价值，并将价值反馈给演员网络；

动作还输入到环境中，环境根据动作输出奖励，并反馈到智能体；

演员网络根据获取的价值，对自身进行更新，直至达到最大迭代次数，得到训练后的强化学习模型。

在一个实施例中，奖励为优化目标的倒数，优化目标T为：

其中，t为设计调度所需时间，T_min为完成任务的最优处理时间，T_max为完成任务的最差处理时间。

第二方面，提供一种基于强化学习算法的矿井数字孪生云平台资源调度装置，包括：

虚拟机数量确定模块，用于确定数字孪生系统中虚拟机数量；

子任务状态获取模块，用于获取所有子任务的状态；

虚拟机调度路径获取模块，用于将虚拟机数量和所有子任务的状态输入到强化学习模型中的演员网络中，得到虚拟机的调度路径。