[发明专利]一种基于深度信念网络的云数据中心请求流调度方法

说明书

本发明公开一种基于深度信念网络的云数据中心请求流调度方法，综合考虑了不同种类请求所能带来的价值以及计算集群能耗等因素在请求处理时间内的变化。使用历史数据：包括每种请求的数量、资源申请量，处理请求所能带来的收益、时间，集群资源总量等，通过建立的利润计算模型计算所能得到的价值。使用请求流数据对深度信念网络(Deep Belief Network,DBN)进行训练，而后使用分类器和其输出对DBN进行调整。使用调整好的DBN获取调度树配置方案，对调度树进行调整，并结合节点效率图进行对节点资源的调度，同时根据实际调度情况对节点效率图进行修改，最终使得云数据中心处理该批次的请求获得的利润最大化。

技术领域

本发明涉及云数据中心任务调度技术领域。更具体地，涉及一种基于深度信念网络的云数据中心请求流调度方法。

背景技术

现如今我们正处于一个信息化的社会，随着信息的日益增加，信息所能带来的价值也愈发巨大。各个拥有大型数据的企业也逐渐在从中获取利益并将其扩大。淘宝网可以利用自身的数据解读出中国的消费趋势，对数据进行分析根据用户的喜好推荐类别相同的产品，以扩大销售额。交管局可以根据实时的交通信息，对交通红绿灯进行管控，来动态调节道路车流量减少拥堵，提高出行效率。

由于计算中心的造价是高昂的，所以云计算服务可以通过网络向海量的用户提供计算的模式也借此得以大力发展.云服务为企业带来的便利性,吸引了越来越多的公司将其应用部署在云数据中心中。但是不管是企业自身，还是云服务提供商的数据中心,都面临着相同的问题—计算框架以及计算需求的多样化。这些不同的需求使得对计算资源的调度更加复杂。不管是对于企业或是云服务服务提供商，不同种类或是不同提出者所提交的计算请求，往往会带来不同的计算收益。企业的一些耗费资源巨大的计算带来的收益可能却是极少，但是这种计算往往又是必需的。云平台等计算服务提供者，通常是通过为用户提供计算服务来按需收费，但是不同级别的用户所能带来的收益也不尽相同。所以根据每种计算请求价值的不同来对资源进行分配，以获取最大利益具有重要意义。

国际著名科技咨询机构Gartner表明数据中心所消耗的能源是巨大的，影响计算能耗的最大原因为集群负载，不同的负载所带来的能源损耗也不同。但是按照最低的可能负载配置服务器资源会造成体验服务等级目标(Service Level Objective，SLO)的违背，所以用户请求的运行时间为影响获利的另外一个重要因素。同时，因为计算集群的种种物理原因，会拥有不同计算瓶颈，带来的计算效率也会有很大差别。当海量不同种类型的请求来临时，在不拖慢集群运行效率的情况下，充分利用集群资源，以缩短请求的平均处理时间，对以最大获利为目标的调度策略具有重要意义。

所谓调度就是将调取器通过一定的规则(调度算法)，对被调度的作业进行一系列的处理(资源分配)，来达到一定的目的(将任务进行合理的分配，使其对集群资源进行合理使用，减少任务的平均响应时间)。目前已知的调度算法，根据其算法本身的特性和解决调度问题思路的不同，可以分为实时调度算法和启发式调度算法两类。实时调度算法以快速实时为中心思想，作业一旦到来就对其进行快速处理，进而在极短的时间内为其进行调度，完成资源的合理分配。调度作业所需的时间短，不需要耗费额外的计算资源，但其因为无法更加细致的对集群中各个节点的负载进行考虑，可能会使集群各个节点出现负载不均衡的情况。启发式调度算法，将需要多维资源的作业调度当成一个类多维背包问题，将集群中的各类资源视为背包，作业对各类资源的需求作为物品，将任务完成时间或集群利用率作为参数，通过使用蚁群、粒子群、遗传、模拟退火、人工神经网络等启发式算法求解，根据其求出的全局近似最优解来进行调度。虽然可以将集群中资源利用率最大化，一定程度上减少任务完成所需要的时间，并对集群负载的均衡进行了充分的考虑，但是其计算过为复杂，需要消耗额外的计算资源，当集群中的节点和任务过多时，将会带来巨大的计算开销。鉴于这两者的优缺点，本发明将二者有机结合，提出以获利最大为目标的树形层级调度策略。