[发明专利]基于强化学习算法的矿井数字孪生云平台资源调度方法

权利要求书

1.一种基于强化学习算法的矿井数字孪生云平台资源调度方法，其特征在于，包括：

确定数字孪生系统中虚拟机数量；

获取所有子任务的状态；

将所述虚拟机数量和所述所有子任务的状态输入到强化学习模型中的演员网络中，得到虚拟机的调度路径。

2.如权利要求1所述的方法，其特征在于，方法还包括对所述强化学习模型进行训练，得到训练后的强化学习模型。

3.如权利要求2所述的方法，其特征在于，对所述强化学习模型进行训练，包括：

所述强化学习模型包括智能体和环境，所述智能体包括演员网络、评论家网络和环境；所述演员网络为基于价值的强化学习模型；所述评论家网络为基于策略的强化学习模型；

将虚拟机数量和所有子任务的状态输入到所述演员网络，输出动作，所述动作为虚拟机的调度路径；

所述动作输入到所述评论家网络，所述评论家网络对所述动作进行评价，得到价值，并将所述价值反馈给所述演员网络；

所述动作还输入到所述环境中，所述环境根据所述动作输出奖励，并反馈到所述智能体；

所述演员网络根据获取的所述价值，对自身进行更新，直至达到最大迭代次数，得到训练后的强化学习模型。

4.如权利要求3所述的方法，其特征在于，所述奖励为优化目标的倒数，优化目标T为：

其中，t为设计调度所需时间，T_min为完成任务的最优处理时间，T_max为完成任务的最差处理时间。

5.一种基于强化学习算法的矿井数字孪生云平台资源调度装置，其特征在于，包括：

虚拟机数量确定模块，用于确定数字孪生系统中虚拟机数量；

子任务状态获取模块，用于获取所有子任务的状态；

虚拟机调度路径获取模块，用于将所述虚拟机数量和所有子任务的状态输入到强化学习模型中的演员网络中，得到虚拟机的调度路径。

6.如权利要求5所述的装置，其特征在于，装置还包括：

模型训练模块，用于对所述强化学习模型进行训练，得到训练后的强化学习模型。

7.如权利要求6所述的装置，其特征在于，所述模型训练模块用于：

所述强化学习模型包括智能体和环境，所述智能体包括演员网络、评论家网络和环境；所述演员网络为基于价值的强化学习模型；所述评论家网络为基于策略的强化学习模型；

将虚拟机数量和所有子任务的状态输入到所述演员网络，输出动作，所述动作为虚拟机的调度路径；

所述动作输入到所述评论家网络，所述评论家网络对所述动作进行评价，得到价值，并将所述价值反馈给所述演员网络；

所述动作还输入到所述环境中，所述环境根据所述动作输出奖励，并反馈到所述智能体；

所述演员网络根据获取的所述价值，对自身进行更新，直至达到最大迭代次数，得到训练后的强化学习模型。

8.如权利要求7所述的装置，其特征在于，所述奖励为优化目标的倒数，优化目标T为：

其中，t为设计调度所需时间，T_min为完成任务的最优处理时间，T_max为完成任务的最差处理时间。