[发明专利]分级存储节能方法

说明书

技术领域

本发明涉及一种计算机领域的存储技术，尤其涉及一种分级存储节能方法。

背景技术

随着数据量的爆炸式增长，存储和处理海量数据的服务器集群越来越普遍。这些服务器集群的能耗问题，越来越引起人们的关注。

据统计，在构建一个服务器集群的成本中，仅服务器和冷却系统的电力消耗就占据了20％，而大部分服务器在多数时候都处于低负载状态，普遍不高于30％，造成了很大的电力浪费。为了尽力减少这种电力浪费带来的不必要的损失，集群节能技术应运而生。

目前集群的节能技术，其关键点是将集群中的任务集中运行在个别服务器上，而其他服务器调整为节能状态或关掉，从而达到集群节能的目的。

当前这些集群节能技术的立足点是，集群中数据的访问是分散且不固定的，这与整个集群中数据的分布有关。现在的服务器集群，很多都实现了负载均衡技术，使得集群中的数据能够在服务器上平均分配，防止个别服务器过载而其他服务器闲置的情况，以达到并发处理的目的。

但是工业研究表明，只有20％的数据是活跃的，而剩余80％的数据处于不活跃状态，而这些数据的活跃性也会随时间而变化。因此即便是集群达到了负载均衡，但是因为数据的访问特性不一致，一定会出现个别服务器负载重，而其余服务器负载轻的情况。

当前的这种集群节能技术，其实是将负载集中，使得整个集群又处于负载不均衡的状态，然后将闲置的节点调为节能状态。这种做法，其实是负载均衡的逆过程。虽暂时解决了部分问题，但也付出了代价，例如对集群中各节点的负载进行监控，需要传感器等仪器，又增加了部分成本。

所以说，集群中的服务器使用率低，大量浪费电能，其实是在整个集群中实行负载均衡技术带来的必然结果。但是如果不实现负载均衡，可能会使得集群中的个别服务器成为访问瓶颈。因此，要解决集群耗电的问题，又要保证集群中的个别服务器不会成为访问瓶颈，就需要一个全新的数据配置方式。

发明内容

本发明为解决上述技术问题，提供一种成本低、自动化程度高的分级存储节能方法，所述方法包括以下步骤：

存储自动分级：集群启动，利用主机名识别识别各主机所处于的存储层次，并按照比例将存储层次低的节点调整为节能模式；

定向存取：选择距离近、存储层次高、正常工作模式的存储层存储和读取文件；

寻找热数据：记录文件中各数据块的访问信息，判断迁移时机，当迁移时机到来时，根据所述记录信息，得出每个访问数据块的价值，按照价值从高到低形成队列；

数据块迁移：将价值高的数据块迁移到存储层次高的存储层，将价值低的数据块迁移到存储层次低的存储层。

优选地，所述方法还包括：自适应调整：数据迁移完成后，更新数据块访问信息，重新启动监控。

优选地，通过信息估值模型处理所述记录信息，所述数据块访问信息包括访问用户、访问时间以及数据块信息。

优选地，通过队列过滤模型和路径匹配模型，在信息估值模型处理后得到的数据块值队列的基础上，形成具体的数据迁移任务，利用迁移控制模型完成数据迁移。

优选地，所述队列过滤模型为：根据阈值过滤掉不需要迁移的数据分段，过滤后形成的队列中的所有数据分段都已经确定迁移方向，阈值反映了本存储层次上前一次的迁移结果。

优选地，所述路径匹配模型为：在队列中所有的块都确定了迁移方向后，确定距离较近的迁移源和迁移目标，迁移源优先选择剩余空间较少、负载轻、正常工作模式的节点，迁移目标优先选择负载轻的节点。

优选地，所述迁移控制模型为：进行迁移速率控制，使用多线程分批次执行所述数据迁移任务，降低迁移过程对集群中节点访问性能的影响。

优选地，所述更新数据块信息，重新启动监控的步骤具体为：

存储数据块的估值结果，以备下一次估值时使用；

对于已经被删除的数据块，在系统所保留的访问记录中删除；

根据迁移的实际情况进行各存储层次的阈值更新；

唤醒监视进程，等待下一次数据迁移的到来。

优选地，在存储自动分级时，所述存储层次至少包括2级，存储层次的划分标准为：存储层次越高，访问性能越好，处理用户请求的响应时间越短。

优选地，将40％的二级存储层和60％的三级存储层调整为节能模式。

本发明的分级存储节能方法在集群实现分级存储技术，使用分级存储的方法，在集群中使用层次存储介质，将访问热点固定在较高层次的存储上，按照比例将存储层次低的节点调整为节能模式，保证了集群的节能并节约了成本。