[发明专利]一种基于马尔科夫博弈的资源划分管理方法

权利要求书

1.一种基于马尔科夫博弈的资源划分管理方法，其特征在于：包括，

采集云平台运行的不同原始数据资源并进行数据预处理；

利用马尔科夫博弈策略对预处理后的所述数据资源进行特征过滤和选择，计算特征参数权重，得到资源划分参数因子；

利用所述资源划分参数因子构建基于深度强化学习的资源划分管理模型；

对所述资源划分管理模型进行训练并输出划分管理结果，得到当前环境下的最优资源划分管理参数配置组合。

2.根据权利要求1所述的基于马尔科夫博弈的资源划分管理方法，其特征在于：采集所述不同原始数据资源包括，

根据所述云平台运行不同类型的资源，获取不同参数配置下的数据资源完成时间，整理得到原始参数数据信息；

利用所述原始参数数据信息分析归纳所述云平台的所有可配置参数，筛除对资源运行性能无关的参数；

结合参数调优准则初步确定一组可能对所述云平台资源运行性能有较大影响的参数候选子集。

3.根据权利要求1或2所述的基于马尔科夫博弈的资源划分管理方法，其特征在于：所述数据预处理包括，

利用One-Hot编码策略将所述不同原始数据资源中的参数数据转换为统一的虚拟变量；

标准化所述虚拟变量，减去其平均值并除以标准差，使得所述参数的不同配置值由数学数值替代，形成数值型参数。

4.根据权利要求3所述的基于马尔科夫博弈的资源划分管理方法，其特征在于：获得所述资源划分参数因子包括，

基于聚类策略利用所述马尔科夫博弈策略删除所述数据中的无关特征参数；

结合Lasso计算过滤后的所有相关特征参数的权重；

依次比对计算后的所述权重，判断所述相关特征参数对所述云平台资源运行性能的影响；

所述权重越大则影响越大，定义与较大所述权重相对应的所述相关特征参数作为所述资源划分参数因子。

5.根据权利要求4所述的基于马尔科夫博弈的资源划分管理方法，其特征在于：计算所述权重包括，

在所述Lasso中设置高惩罚因子并结合损失函数计算，使得全部的所述权重均为零；

基于所述原始数据资源中的历史数据资源构建自变量和因变量；

控制所述自变量的增量减小惩罚强度以区分非零权重和零权重，并根据数值大小进行排序。

6.根据权利要求5所述的基于马尔科夫博弈的资源划分管理方法，其特征在于：所述马尔科夫博弈策略包括，离散的状态空间与动作空间，如下，

θ＝U，Q₁，……Q_n，W，E₁，……E_n

其中，U为所述云平台全部资源的状态集合，Q_n为云计算的动作集合，W为大数据环境的状态转移概率集合，E_n为所述云平台基于所述大数据环境的动作回报函数。

7.根据权利要求6所述的基于马尔科夫博弈的资源划分管理方法，其特征在于：构建所述资源划分管理模型包括，

利用所述资源划分参数因子构建所述资源划分管理模型；

收集所述云平台资源运行的日志获取参数信息，结合所述云平台集群环境确定所需调优的参数及其取值范围，将非数值型参数转换为所述数值型参数；

将所述数值型参数的各个取值转换为深度强化学习中的状态空间，对每个所述状态设定增大、减小、不变三种动作；

依次选取所述动作开始执行资源运行作业，完成后获得相应的奖励；

提取所述资源划分管理模型停止时的参数状态和动作情况，获得对应的所述最优参数配置。