[发明专利]高性能计算和云计算混合环境中的动态资源管理方法

说明书

技术领域

本发明属于高性能计算和云计算领域，涉及一种高性能计算和云计算混合环境中的动态资源管理方法。

背景技术

目前在学术界和工业界已展开深入研究并获得广泛认可的计算模式主要有：高性能计算和云计算。高性能计算(High Performance Computing)是一种传统地并行计算模式，是计算机科学的一个重要分支。高性能计算的发展与高性能计算机技术的不断推进密不可分，一方面，高性能计算机的研制开发为高性能计算提供了强大的底层硬件工具和物质基础，而高性能计算的广泛应用也推动了高性能计算机技术自身的发展。高性能计算主要用于处理复杂的计算问题，应用在需要大规模科学计算的环境中，主要涉及天气预报、核武器研究、核材料储存仿真、石油勘探与油储模拟、生物信息技术、基因测序等。通常而言，高性能计算的应用程序一般采用并行算法，把一个大的普通问题根据一定的规则分为许多小的子问题，在集群内的不同节点上进行并行计算，从而可以缩短问题的处理时间。

另一种计算模式为云计算，云计算(Cloud Computing)是一种利用互联网实现随时随地、按需、便捷、弹性地访问共享资源池(如计算设施、存储设备、应用程序等)的计算模式，是分布式计算、互联网技术、大规模资源管理等技术的融合与发展。云计算借鉴了很多传统技术的思想，比如面向服务的体系结构(SOA)，网格计算，效用计算，虚拟化技术等等。通常情况下，云计算采用计算机集群构成数据中心，并以服务的形式交付给用户，使得用户可以像使用水、电一样按需购买云计算资源。云计算的服务根据其抽象层次的不同，通常可分为平台即服务(PaaS)，软件即服务(SaaS)，和基础设施即服务(IaaS)。其中，平台即服务是指运营商在云端提供一种软件开发和部署的环境，对底层的OS进行了屏蔽和抽象。软件即服务是指运营商提供运行在云计算基础设施上的应用程序，用户可以在各种设备上通过诸如浏览器等客户端访问云计算应用。基础设施即服务提供给用户的服务是对云端计算设施的利用，包括处理、存储、网络和其它基本的计算资源，用户能够部署和运行任意软件，包括操作系统和应用程序。

云计算IaaS服务构建于大型数据中心之上，利用虚拟化技术为用户提供可定制的、可靠的、可弹性扩展的虚拟机资源。基于云计算IaaS服务，用户可按需构建虚拟机集群，并可根据上层应用工作负载的变化动态改变虚拟机集群的规模。另外，由于IaaS层可托管于云计算服务提供商，所以用户可以简化系统资源管理的复杂性，降低运维成本，提高经济效益。目前，典型的云计算IaaS服务提供商有Amazon、Rackspace等公司，它们在全球各地构建大型数据中心，并以虚拟机的形式为用户提供可伸缩的云服务。虚拟化技术是支撑云计算的基础，其主要是由虚拟机形式运行在物理机上，虚拟机是指通过软件模拟的、具有完整硬件系统功能的运行在一个完全隔离环境中的完整计算机系统。其特点主要包括：1)平台无关性。虚拟机将各类型的硬件平台抽象成统一标准，减少了硬件的支持成本并增加了IT资源的共享能力。2)灵活性。虚拟机以单个虚拟磁盘文件的形式存在，其相关操作如安装、复制、删除等极其简单。3)资源复用性。利用虚拟机可有效消除传统数据中心“一台服务器运行一个应用程序”模式下效率低下的现象。利用虚拟化技术可大幅提高处理资源和存储资源的利用率，并显著降低设备、能源和管理等方面的成本。目前云计算IaaS层被广泛研究和部署的虚拟机管理平台是Openstack,它由Rackspace和NASA共同开发的开源云计算平台，帮助服务商和企业内部实现类似于Amazon EC2和S3的云架构服务。

发明内容

技术问题：本发明提供了一种通过预测下一时刻的任务到达率，在满足用户QoS需求的前提下，动态为任务提供所需的计算资源，提高了混合环境的资源利用率，同时提高了混合环境中的云计算环境里资源利用率的高性能计算和云计算混合环境的动态资源管理方法。

技术方案：本发明的高性能计算和云计算混合环境中的动态资源管理方法，在高性能计算和云计算混合环境下，不断对到达的任务进行动态资源分配，当完成对一批任务的动态资源分配后，按照如下方法对混合环境中的云计算环境里的物理资源进行资源优化：

采集云环境里系统物理机的计算机CPU利用率、存储利用率和内存利用率，根据系统状态约束条件，建立物理机资源利用最大化优化模型，求解所述优化模型，得到虚拟机放置方案，然后按照如下改进的虚拟机迁移方法实现云计算环境里的资源优化：

1)获取物理机列表和物理机上运行的所有虚拟机列表；