[发明专利]云计算中面向节能的Hadoop分布式文件系统存储方法

摘要

本发明公开了一种云计算中面向节能的Hadoop分布式文件系统存储策略，包括如下步骤步骤1，将数据节点进行区域划分，对于活跃状态的数据节点划分为热区，对于待机状态的数据节点划分为冷区，将新建的文件存储于热区；步骤2，对于存储于热区的数据文件根据优先匹配策略，将该数据文件存储在经过优先匹配的热区最大数据节点；步骤3，判断该数据文件的活跃程度，当活跃程度达到阈值范围后，将该数据文件转存到冷区；步骤4，对转存在冷区的该数据文件进行活跃程度判断，如果存储该数据文件的冷区数据节点最后一次访问时间与当前时间之差大于节点待机时间阈值，则将该节点置为待机状态。本发明能有效利用热节点和冷节点较大幅度的降低能耗。

主权项

一种云计算中面向节能的Hadoop分布式文件系统存储方法，其特征在于，包括如下步骤：步骤1，将全部的数据节点进行区域划分，对于全天活跃状态的数据节点划分为热区，对于处于待机状态的数据节点划分为冷区，将新创建的数据文件存储于热区；步骤2，对于存储于热区的数据文件根据优先匹配策略，将该数据文件存储在经过优先匹配的热区最大数据节点；步骤3，判断该数据文件的活跃程度，当活跃程度达到阈值范围后，将该数据文件转存到冷区，根据优先匹配策略将该数据文件存储在冷区最大数据节点且该数据节点为活跃状态；步骤3‑1，定时查找遍历热节点列表，将驻留时间超过驻留时间阈值和前一日访问量小于日最低访问量阈值的文件迁移到冷区中；步骤3‑2，其中驻留时间阈值根据数据统计进行确定，最低访问量阈值是根据访问情况来确定；为了最大限度降低文件迁移策略对整个系统的效率和性能的影响，选择在访问的非高峰时段来实施迁移；步骤4，对转存在冷区的该数据文件进行活跃程度判断，如果存储该数据文件的冷区数据节点最后一次访问时间与当前时间之差大于节点待机时间阈值Tidle，则将该节点置为待机状态。