[发明专利]一种用于数据中心分布式文件存储的节能方法

说明书

本发明公开了一种用于数据中心分布式文件存储的节能方法，包括以下步骤：基于分布式文件存储的机架感知存储策略，将文件数据块及其副本、与存储数据的节点之间的关系用超图表示出来；利用超图的关联矩阵清晰地表示超边和节点之间的关系；提出根据分布式集群文件的访问特点，在满足低时延的应用访问要求前提下，不同文件应该具有的活跃副本数目；在满足数据块可用的前提下，依据文件被访问的频度，获取可变覆盖的横贯模型；根据可变覆盖的横贯模型确定最大关闭数据节点DataNode的数目，建立服务器能耗评价。

技术领域

本发明涉及云数据中心领域，尤其涉及一种用于数据中心分布式文件存储的节能方法。

背景技术

当今，信息技术带动了各种现代服务业，以及新兴产业的快速发展，这些业务产生的数据正在以几何级数的形式增长。其中，这些业务包括：互联网、物联网和智能电网等。据统计，纽约证券交易所每天的交易数据会有1TB(万亿字节)；Twitter(推特)每天会产生7TB的数据；Facebook(脸谱网)每天产生的数据超过10TB。据IDC(Internet Data Center，互联网数据中心)的调查与统计，2007年全球的数据信息量约为165EB(百亿亿字节)，即使在全球遭遇金融危机的2009年，仍约800EB的数据量，相比上一年增长了62％。2012年全球信息总量已经达到2.7ZB(十万亿亿字节)，2020年将会达到35ZB，约为2007年的230倍。大数据每年都在激增庞大的数据量，这给整个数据的存储以及数据的处理带来了挑战。

数据中心的能耗也一直居高不下，2007年，IT设备能耗占全球总能耗的5.3％，消耗电力达8700亿千瓦时。随着IT技术的广泛应用，该能耗以每年20％～25％的速度继续增长。根据麦肯锡公司2008年研究表明，2007年全球的数据中心所消耗能源的总费用为86亿美元。预计2025年，整个IT行业的整体平均能耗将会是2006年的5倍。并且存储系统占IT耗能的比重呈不断增长之势。

分布式文件存储系统是云计算底层的核心基础设施，并且是上层数据服务的提供者。由于分布式文件存储系统规模的不断扩大使其运营成本不断提高，不仅包括硬件、机房、冷却设备等固定成本，还包括IT设备和冷却设备的电能消耗。这将会导致能耗的浪费以及温室效应，给环境带来的危害毋庸置疑。另外，分布式文件存储系统在设计时，没有考虑对环境的危害问题。因此，无论是要减少本身消耗的成本，还是达到保护环境的目的，提高分布式文件存储系统的能耗利用率是云计算领域中需要研究的一个热点问题。

发明内容

本发明提供了一种用于数据中心分布式文件存储的节能方法，本发明在HDFS(HadoopDistributed File System，Hadoop分布式文件存储)集群中，通过建立超图模型，清晰地表述文件的数据块和服务器之间的多对多的关系，根据超图里的横贯理论，提出了一种可变覆盖的横贯模型，详见下文描述：

一种用于数据中心分布式文件存储的节能方法，所述节能方法包括以下步骤：

基于分布式文件存储的机架感知存储策略，将文件数据块及其副本、与存储的数据节点之间的关系用超图表示出来；

利用超图的关联矩阵清晰地表示超边和节点之间的关系；

提出根据分布式集群文件的访问特点，在满足低时延的应用访问要求前提下，不同文件应该具有的活跃副本数目

在满足数据块可用的前提下，依据文件被访问的频率，获取可变覆盖横贯模型；

根据可变覆盖的横贯模型确定最大关闭数据节点DataNode数目，实现数据中心分布式文件存储节能。

所述将文件数据块及其副本、与存储数据的节点之间的关系用超图表示出来具体为：

数据节点DataNode作为超图的顶点，以每种数据块作为超边，数据块和数据节点间复杂的多对多关系通过超图表示出来。