[发明专利]一种面向异构平台的能耗优化调度方法

说明书

本发明公开的一种面向异构平台的能耗优化调度方法，包含以下步骤：采集所有异构物理节点的资源信息并发送给虚拟资源配置决策器；虚拟资源配置决策器计算出每个异构物理节点对应的虚拟资源份额，并相应修改；刷新所有异构物理节点的配置信息，每个异构物理节点的虚拟资源份额被更新，平台重新启动，接收用户提交的作业并放入作业队列中；集群平台从作业队列中取出一个作业，根据数据块大小将作业切分成若干个任务；按照DRF算法计算出该作业所需要的虚拟资源份额，集群平台通过能耗最优调度算法将该作业所需的虚拟资源分配给该作业。本发明的方法具有充分利用集群平台资源异构性特征提高平台资源调度效率和减少平台任务调度能耗等优点。

技术领域

本发明涉及分布式系统的能耗优化调度方法，特别涉及一种面向异构平台的能耗优化调度方法。

背景技术

云计算目前已经成为学术界和产业界的研究热点，越来越多的高校、研究所、IT公司以及互联网企业开始深入研究并开展云平台的项目。在云计算环境下，分布存储的规模巨大，能耗开销也很大。而且为了使得设备能够正常运转，能耗还要包括制冷设备的能耗。在24×7的不间断运行模式下，能耗成为构成数据中心存储开销的一个重要组成部分。在美国，2000年至2005年之间，数据中心的能耗翻了一番。研究人员调查还发现，一台服务器4年的能耗基本上等于其硬件的成本，而且降低能耗能够提高磁盘等硬件设备的运行寿命，进而降低数据中心的成本。云计算提供商作为依靠服务盈利的企业，降低能耗进而降低成本是一个必须追求的目标，而且节约能耗可以节约能源，促进环境保护，节能技术已成为分布存储设计中与效率、容错并列的关键技术之一。最近几年，计算机系统电能消耗的不断增加，能源的高效利用已经成为现代计算机系统(如数据中心和云端)的一个非常重要研究内容。大型的云计算集群通常以异构的形式存在，节点之间的性能差异很大，很容易导致资源分配不均匀、能耗过大的问题。

近年来关于异构平台的能耗优化调度方法的研究正在逐渐升温。2013年AbdulHameed等人详细研究了云计算集群的资源分配与调度方法。他摒弃了传统的集群节能方案，提出了使用资源预测算法来预测任务所需要的各种资源(包括CPU，内存，带宽等)。借助机器学习的手段，预测出任务所需要的资源，然后进行资源的分配。文中提出了三种分配方案：基于功率的分配方案；基于热量的分配方案；基于服务的分配方案。2014年Alberto教授等人也发表了类似的观点。对于异构集群的资源分配与调度，应该放弃过往的人工配置方法。他提出了使用“参数学习算法”和“混合的模糊遗传系统模型”来进行集群资源的自我分配。除了使用机器学习的手段之外，也有一些学者提出使用反馈的机制来设定集群的资源分配与调度。Mohsen Sharifi教授针对异构集群的能耗优化问题提出了基于集群负载情况的反馈分配机制。通过监测集群的运行情况，动态地将负荷较轻的任务的资源动态分配给负荷较重的任务，以达到资源的合理分配。此外，当前Hadoop平台的三种主流调度算法：FIFO算法、公平调度算法和计算能力算法，主要考虑同构环境的任务调度的性能改进问题，没有考虑能耗优化问题，特别是没有考虑在异构环境中执行效率和能耗优化问题。

虽然最近几年在云计算的能耗优化资源调度方向已经开展了不少研究工作，但大部分算法没有利用平台异构性来更好地分配资源和调度任务，且基于机器学习算法等智能算法来优化调度问题往往复杂度比较高、不实用。因此，针对异构平台的能耗优化资源调度问题，使用更轻量级的方式进行资源的分配和调度是云计算领域亟待解决的重要问题。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种面向异构平台的能耗优化调度方法，能够根据集群内各个节点的物理能力进行资源的重新分配，能力强的节点承担更繁重的计算任务，能力弱的节点承担较轻松的计算任务。重新分配资源后，由DRF算法计算出作业所需要的虚拟资源份额，随后使用“能耗最优分配算法”在各个节点中选择最适合的虚拟资源大小供其运行。其中，一份虚拟资源份额是资源调度的最小单位。该方案提高了异构Hadoop集群的资源利用率，从而达到提高集群整体运行效率和节省能耗的目的。

本发明的目的通过以下的技术方案实现：