[发明专利]一种基于深度信念网络的云数据中心请求流调度方法

权利要求书

1.一种基于深度信念网络的云数据中心请求流调度方法，其特征在于，包括如下步骤：

S1、根据建立的利润计算模型对历史数据进行计算，从而得到该数据条件下，所能获得的利润，并使用所计算得到的利润作为评判标准给历史数据添加标签；

S2、将添加了标签的历史数据分为训练集和测试集，并将训练集的数据进行归一化处理，使用处理之后的训练集对DBN网络进行训练；而后使用分类器和其输出对DBN网络的权值w和偏差值b进行调整；

S3、使用测试集对训练完毕的DBN进行测试，并根据测试结果对DBN的超参数进行调整；

S4、使用当前时刻的请求流数据和已经调整好的DBN获取最优的调度树配置方案并对调度树进行调整，其后根据节点效率图对请求流进行调度，以使调度当前请求流的获利最大，同时根据实际调度情况对节点效率图实时进行修改，为下一次调度做准备；

所述利润计算模型的结果为Profit，所描述的利润计算模型为：

Profit＝Revenue-Cost

其中，Revenue表示处理在时间间隔t内到来的任务请求所能带来的收益；Cost表示在时间间隔t内，集群处理请求所消耗的能量成本与人力使用成本之和；表示在时间间隔t内第k类请求的个数；g_m表示在时间间隔t内第k类请求的平均资源申请量；t_k表示在时间间隔t内每一个请求的实际执行时间；R表示集群资源的总量；是代表调度延迟的变量，n表示延迟调度的时间，如果在时间间隔t内该请求进行了调度，则否则q_t代表在时间间隔t内调度该请求，并在一段时间完成之用户可能拥有的满意度,i代表超时调度的折损率；l表示请求的个数；表示在时间间隔t内实际处理完成第k类请求的个数；z_t表示在时间间隔t内该节点能耗与使用效率间的关系系数；p_max和p_min表示每个集群资源的最大和最小使用率；表示在时间间隔t内单位能耗所需要花费的价格；

所述利润计算模型的约束包括：在时间间隔t内，总CPU和内存需求均不能超过限定所给出的最大配置，总需求不能超过计算集群原本的容量限制：

d_tCPU_t≤CPU_l；

d_tMemory_t≤Memory_l；

其中，CPU_t表示在时间间隔t内每个请求所需要的CPU的平均个数；Memory_t表示在时间间隔t内每个请求所需要的内存的平均大小；CPU_l表示系统对单个请求所能申请的CPU资源数量的限制；Memory_l表示系统对单个请求所能申请的内存资源数量的限制；CPU_R表示计算集群的CPU的容量限制；Memory_R表示计算集群的内存的容量限制；

非线性约束优化模型的约束还包括：如果该请求可以在t时间内完成，即或如果未在t时间内完成，则或具体约束为：

步骤2中使用的DBN网络由2层RBM和1层BP网络构成，权值w和偏差值b用来对DBN网络层与层之间关系以及激活概率p进行计算，使用对比散度算法(CD-k)来对每层RBM进行无监督贪婪训练；通过将输入值赋值给显层，计算出隐层中每个神经元被激活的概率，从计算得到的概率中采用Gibbs抽样抽出样本，计算显层中每个神经元被激活的概率，若干次计算之后，隐层可以精准的显示显层的特征；训练完毕后的每层RBM只能保证在自身层内权值w和偏差值b达到最优，所以使用BP网络根据其输出结果和给定对应的历史数据的标签进行判断，将错误信息自顶向下传播至每一层RBM，微调整个DBN网络，使整个DBN网络中的权值w和偏差值b达到最优；

步骤3中需要调整的超参数包含：影响DBN网络学习速度的学习率η、对网络出现过拟合情况进行调整的正则化参数λ、影响分类正确率的学习的回合数Epoch和每个隐层中神经元的个数j；通过使用Spark运行DBN网络同时通过反复迭代S2、S3，根据以往的经验和测试结果的图表规律对这些超参数进行方差分析、拟合优度检验，而后根据结果对其进行调整，直至其测试出现最优结果；

建立调度树配置计算模型，其参数为根据数据请求所计算出的调度算法的配置方案，和当前调度树的配置参数，具体为：

其中，f_old为调度树目前同种类请求子节点下可以存储的非叶子节点的最大数量，f_new为根据作业请求的数量、平均资源申请量和f_old所计算的同种类请求子节点下可以存储的非叶子节点的最大数量；l_old为调度树中叶子节点可以存放的待调度请求的最大数量，l_new为根据请求数据和l_old所计算的叶子节点可以存放的待调度请求的最大数量。