[发明专利]一种云计算环境中的资源管理方法及系统

权利要求书

1.一种云计算环境中的资源管理方法，其特征在于，包括以下步骤：

步骤一、实时采集每个虚拟节点的资源信息，所述资源信息包括CPU使用时间、空闲内存和带宽信息；

步骤二、获取每个虚拟节点的CPU、内存及带宽资源配置量；

步骤三、根据所述资源信息和CPU、内存及带宽资源配置量进行计算提取，获得每个虚拟节点的CPU、内存及带宽使用率；所述CPU、内存及带宽资源配置量和CPU、内存及带宽使用率共同构成状态集；

步骤四、利用基于深度确定性策略梯度的资源管理算法对所述状态集进行训练学习，获得每个虚拟节点的资源配置决策；

步骤五、根据所述资源配置决策对每个虚拟节点的资源进行动态调节。

2.根据权利要求1所述的一种云计算环境中的资源管理方法，其特征在于，步骤三中CPU使用率uc_i、内存使用率um_i及带宽使用率ub_i计算公式分别为：

其中，cpu(t)表示t时刻CPU使用时间；c_i表示CPU资源配置量；f_i表示空闲内存；m_i表示内存资源配置量；recv(t)表示t时刻带宽收包数；trans(t)表示t时刻带宽发包数；b_i表示带宽资源配置量。

3.根据权利要求2所述的一种云计算环境中的资源管理方法，其特征在于，步骤四的具体步骤包括：

步骤四一、初始化当前Actor网络π_θ(S)、当前Critic网络Q_ω(S,A)、目标Actor网络π′_θ′(S)和目标Critic网络Q′_ω′(S,A)，并创建经验池；

步骤四二、初始化环境并获取当前t时刻状态信息；

步骤四三、以状态集中当前t时刻状态s_t为输入，根据Actor网络π_θ(S)计算获得离散动作并加入噪声，获得当前t时刻动作a_t：

式中，π_θ(s_t)表示当前t时刻Actor网络；表示满足均值为μ、方差为σ²的正态分布的噪声；

步骤四四、根据当前t时刻状态s_t利用基于比率的动作解码算法对当前t时刻动作a_t进行解码，得到解码后的资源配置动作；

步骤四五、按照解码后的资源配置动作进行资源配置；

步骤四六、获取状态集中t+1时刻状态s_t+1，并根据下述奖励函数公式计算获得即时奖励r_t：

r_t＝-λ₁Bads-λ₂Vars+λ₃Evav

式中，λ₁、λ₂、λ₃表示权重参数；Bads表示处于资源过度利用或未充分利用状态的虚拟实例的数量；Vars表示CPU、内存及带宽使用率的方差之和，值越小说明虚拟节点的资源利用率越均衡；Evav表示对每个资源管理动作操作的评价值，值越大说明越认可；

步骤四七、将当前状态s_t、t时刻动作a_t、t+1时刻状态s_t+1和即时奖励r_t即s_t,a_t,s_t+1,r_t存入经验池；

步骤四八、从经验池中进行mini-batch取样，并基于下述公式对当前t时刻Critic网络中的参数ω进行梯度更新：

式中，E表示期望值；Q_ω(s_t,a_t)表示当前t时刻Critic网络；表示对当前Critic网络的参数ω求导；y_t表示目标值，y_t＝r_t+γQ′_ω′(s_t+1,π′_θ′(s_t+1))，γ表示折损率，Q′_ω′(s_t+1,π′_θ′(s_t+1))表示t+1时刻目标Critic网络，π′_θ′(s_t+1)表示t+1时刻目标Actor网络；

步骤四九、从经验池中进行mini-batch取样，并基于下述公式对当前t时刻Actor网络中的参数θ进行梯度更新：

式中，表示对当前Critic网络的参数a求导；表示当前Actor网络的参数θ求导；

步骤四十、通过下列公式更新目标Actor网络的参数θ′：θ′←τθ+(1-τ)θ′；通过下列公式更新目标Critic网络的参数ω′：ω′←τω+(1-τ)ω′；其中，τ表示动量因子；

步骤四十一、迭代循环执行步骤四二至步骤四十，直至达到预设最大迭代次数则停止迭代执行。