[发明专利]一种云数据中心应用可感知的分布式多资源组合路径最优选取方法

说明书

本发明公开一种云数据中心应用可感知的分布式多资源组合路径最优选取方法，包括：云数据中心应用可感知云资源管理器负责采集基础资源中的网络、CPU等资源状态信息；采用强化学习、价值网络及策略网络相结合的方式形成无监督的深层混合架构模型，对模型训练及各类请求流的节点移动位置进行评估；采用新型的树搜索算法，即并行蒙特卡罗树搜索(Parallel Monte Carlo Tree Search,PMCTS)算法，来给每一类型的请求流加速寻找合适的资源路径，并且联合价值和策略网络，从而给出其最优的资源路径的选择结果。采用本发明的技术方案，可以确保云数据中心各类密集型请求流的总响应时间延迟最小。

技术领域

本发明涉及一种云数据中心应用可感知的分布式多资源组合路径的最优选取方法。

背景技术

近年来，提供应用服务托管的云数据中心(Cloud Data Center,CDC)越来越受企业和用户的欢迎。云架构由于能够快速高效地扩展，并可以比传统数据中心支持更多的工作负载，同时即付即用模式和按需资源分配能力可以为用户构建IT基础架构节省时间和成本，并为云数据中心提供商运行应用程序和部署服务提供更具成本效益的方法。鉴于云提供的优势，越来越多的个人和企业将其应用从传统的个人计算机和内部数据中心逐渐转移到云，而这一趋势将会推动云流量的快速增长。思科发布的第六次年度云产业调研报告中指出到2020年云流量将增长3.7 倍，从2015年的每年3.9ZB增长到每年14.1ZB。目前，由于云数据中心中运行着由计算、存储和网络等各类基础资源构成的资源池，其不仅为大规模、多样化、多终端的云应用服务使用着，而且其所支持的云应用服务本身也包括了计算、存储和网络等不同密集型应用服务。例如，计算密集型应用服务包括了大规模仿真服务、工程分析服务、科学计算服务等；数据密集型应用服务包括了物联网服务、流媒体服务、社交网络服务等。由于云数据中心大量各类密集型应用服务的存在，如何在各类应用服务感知的情况下来有效地管理和优化基础资源的使用，并最小化请求流的延迟时间和节约能耗。因此，预测请求流负载对云数据中心的资源管理至关重要，但这也是一个非常具有挑战性的任务，受许多复杂因素的影响。同时，云数据中心基础环境需要先进的计算处理技术做支撑来提高各类密集型应用服务处理的速度和效率。此外，云数据中心资源管理与优化的根本目的是在满足应用服务消费者需求的前提下，保障云服务提供商的服务质量和成本效益，从而实现云计算的经济优势。

时至今日，低能耗、高效能、软件化、新型体系架构等是云数据中心发展的重要任务，如何有效地根据时间和空间依赖性预测云数据中心中各类密集型应用服务请求流(以下简称“请求流”)负载；如何高效地找到资源路径来流转应用服务所产生的大量各类请求流；如何使得Hadoop/Spark集群在给定资源的前提下协调优化基础资源，从而满足各类密集型应用服务共享资源时的性能需求并降低能耗。以上这些特性要求为云数据中心的资源管理和优化研究带来了新的挑战：

没有针对所有云应用服务资源路径选取一对一的解决方案，因为它们具有不同特性和不确定性。实际云数据中心里运行着大量并发的各类密集型应用服务，其动态性、多约束性、复杂性和相互影响性使得按照某一种资源密集型的应用服务进行资源计划既不可行又效率低下。例如，计算密集型应用服务会长时间占用 CPU资源，这导致长时间占用CPU资源的应用服务浪费了大量的网络I/O和存储资源。即使对于相同的应用服务，资源需求也可能会不同。例如，在处理来自用户的查询时，在线Web服务通常是CPU密集型的，而在Hadoop和Spark中运行的大多数MapReduce作业通常是数据密集型的。但是在线视频Web服务是数据密集型的并且需要高的I/O吞吐量，而一些Map Reduce作业(如K-Means和 Pagerank)是CPU密集型的，通常受CPU容量的限制。

因此，可使一种类型应用服务受益的机制可能对其它应用服务没有帮助，需要以应用可感知的方式研究分布式多资源组合路径最优选取方法，从而实现每一类型应用请求流在云数据中心处理的总响应时间延迟最小。

发明内容