[发明专利]一种基于Q学习的混合云作业调度方法

摘要

本发明公开一种基于Q学习的混合云作业调度方法，使用多agent并行学习，即每个agent独立进行最优策略学习，当某个agent最先得到满足error＜θ条件的策略时，就进行agent间的知识迁移。本发明通过分析用户作业在云环境中的执行流程，以最小化用户作业完成时间和等待时间为优化目标，设计了一种基于强化学习的混合云作业调度方法，并采用并行多agent技术加速最优策略的收敛，提高了云资源的利用率，降低了用户等级协议的违约率。

主权项

1.一种基于Q学习的混合云作业调度方法，其特征在于，使用多agent并行学习，即每个agent独立进行最优策略学习，当某个agent最先得到满足error＜θ条件的策略时，就进行agent间的知识迁移，具体包括：定义Q学习的状态空间：将云环境资源池中活跃的虚拟机数量定义为状态空间；定义Q学习中的动作集合A：动作集合中包括2个动作，分别为接受当前被调度作业和拒绝当前被调度作业；定义系统的立即回报函数：其中，job_i.ini表示作业执行的指令数，job_i.fsize表示作业大小，VM_j.proc表示虚拟机处理速度，VM_j.bw表示虚拟机带宽；初始化Q(s,a)，其中Q(s,a)为二维表格，行s为状态空间，列a为动作集合；初始化状态空间S；S3：迭代执行S31至S36：S31：将s设置为当前状态；S32：使用贪心策略从动作集合A中选择动作；S33：执行所选择的动作，计算记录当前的立即回报函数，得到立即回报值r和下一个状态空间S’；S34：按式Q_t＝Q_t+α(r+γ*Q_t+1‑Q_t)，更新Q(s,a)，其中α∈(0,1)是学习速率，γ∈(0,1)是时间折扣因子，Q_t指的是t时刻的Q值，即t时刻的Q(s,a)，Q_t+1表示t+1时刻的Q值；S35：计算error＝MAX(error|Q_t‑Q_previous‑t)，Q_previous‑t指时刻t前一时刻的Q值；S36：判断error＜θ是否成立，若不成立则返回S31，若成立进行agent间的知识迁移，知识迁移是指若某一agent最快学习到最优策略，则用该agent的Q值表替换其他agent的Q值表；其中θ为固定比较值，根据需要设定。