[发明专利]一种用于数据中心分布式文件存储的节能方法

权利要求书

1.一种用于数据中心分布式文件存储的节能方法，其特征在于，所述节能方法包括以下步骤：

基于分布式文件存储的机架感知存储策略，将文件数据块及其副本、与存储的数据节点之间的关系用超图表示出来；

利用超图的关联矩阵清晰地表示超边和节点之间的关系；

提出根据分布式集群文件的访问特点，在满足低时延的应用访问要求前提下，不同文件具有的活跃副本数目

在满足数据块可用的前提下，依据文件被访问的频度，获取可变覆盖横贯模型；

根据可变覆盖的横贯模型确定最大关闭数据节点DataNode数目，实现数据中心分布式文件存储节能；

所述可变覆盖的横贯模型具体为：

或1i＝1,2,…,n

其中，表示第s_i个机架上的第i个服务器的状态；0表示服务器处于休眠状态，1表示服务器处于活跃状态；a_ij表示节点关联矩阵里的元素；k_l为文件的活动系数；N_l为文件l所包含的数据块的个数；为服务器节点的顶点度之和；n表示服务器的个数；m表示超边的个数，即数据块的种类；w表示文件的个数。

2.根据权利要求1所述的一种用于数据中心分布式文件存储的节能方法，其特征在于，所述将文件数据块及其副本、与存储数据的节点之间的关系用超图表示出来具体为：

数据节点DataNode作为超图的顶点，以每种数据块作为超边，数据块和数据节点间复杂的多对多关系通过超图表示出来。

3.根据权利要求1所述的一种用于数据中心分布式文件存储的节能方法，其特征在于，所述活跃副本数目具体为：

处于活跃状态服务器上的数据块副本个数，该参数也是所求的数据节点的子集与每条超边的交点个数。

4.根据权利要求1所述的一种用于数据中心分布式文件存储的节能方法，其特征在于，所述根据可变覆盖的横贯模型确定最大关闭数据节点DataNode数目具体为：

在满足文件的活跃副本数目k_l的情况下，使开启服务器的个数最少，即值最小；

当存在开启服务器的个数相同、但不同状态向量解集时，从中选取顶点度之和最小的，即值最小的；

当存在横贯集等秩、且存储的总数据块个数相同的解集时，考虑选择活跃状态服务器分布的机架数量多的解集，即值最大的。

5.根据权利要求1所述的一种用于数据中心分布式文件存储的节能方法，其特征在于，所述节能方法还包括：

1)负载均衡度的评价：负载均衡度表示的是服务器集群中所有服务器负载的总偏差和总负载的比值，根据服务器实际负载与负载平均值差的绝对值表示负载偏差，计算负载均衡度，即其中B_L表示HDFS集群的负载均衡度，s_i表示第i个服务器的负载率，表示平均负载率；2)对分布式文件集群进行节能评价；

一个DataNode节点的功耗为：

P_server＝σ_e+μ_es^a

式中，σ_e为空闲功耗或者静态功耗，s为服务器的负载率，与服务器的时钟频率成正比，μ_e和a为常数；

整个HDFS集群节约的功耗为：

其中，s₁为进行节能处理前的服务器的负载率，s₂为进行节能处理后处于活跃状态的服务器的负载率，一般情况下有s₁＜s₂；n为HDFS集群中DataNode的个数；q为休眠的DataNode的个数。