[发明专利]基于集群节点负载状态预测的冷热区域划分节能存储方法

摘要

本发明公开了一种基于集群节点负载状态预测的冷热区域划分节能存储方法，属于信息技术处理领域。本申请首先介绍了方法的思想，进而描述了方法的执行步骤，以及方法的伪代码实现；接着对该节能策略的节能效果进行理论上的分析；然后介绍了实验的过程，包括实验的环境，数据集的选用，数据块的访问格式，最后对实验的结果做了分析，通过和Hadoop集群未做冷热区域划分的方式的能耗进行量化的分析比较，验证了本申请的节能存储策略具有一定的实际节能效果。

主权项

1.一种基于集群节点负载状态预测的冷热区域划分节能存储方法，其特征在于：包括如下步骤：步骤1：基于LSTM预测模型，预测节点周期T内的负载，并按照负载从高到低排列列表Load_List：其中，node_i表示第i个节点，i＝1,2,…,m；表示节点node_i在周期T内的负载；node_j表示第j个节点，j＝m+1,m+2,…,n；表示节点node_j在周期T内的负载；步骤2：根据负载值列表Load_List，通过预设负载阈值Threshold，划分为热区域Nset_hot和冷区域Nset_cold，假定热区域中有m个节点，冷区域中有n‑m个节点，m≤n，即：Nset_hot＝{node₁,node₂,…,node_i,…,node_m}；其中，i＝1,2,…,m；Nset_cold＝{node_m+1,node_m+2,…,node_j,…,node_n}；其中，j＝m+1,m+2,…,n；步骤3：判断热区域的资源量Resource和需求量Requirement的关系；若：判断结果是Resource＜Requirement，则执行步骤4；或判断结果是Resource≥Requirement，则执行步骤5；步骤4：将缓冲队列的节点逐个加入到热区域中，直到热区域中资源量Resource≥Requirement，或缓冲队列中所有节点都加入热区域为止；如果仍然不满足Resource≥Requirement，则逐个激活休眠队列的节点，并将其加入到热区域直到满足Resource≥Requirement为止，然后进行负载均衡操作；步骤5：将新创建的数据块存储在热区域Nset_hot节点中，并且采用集群默认的数据块放置策略；步骤6：计算热区域节点数据块访问频度列表判断节点node_i中数据块访问频度与冷度阈值θ的大小关系；若：判断结果是则该数据块集合迁移到冷区域缓冲队列；或判断结果是则该数据块集合仍然保留在热区域；步骤7：计算冷区域Nset_cold缓冲节点的数据块访问频度列表判断节点node_j中数据块访问频度与休眠阈值λ的大小关系；若：判断结果是则将节点node_j休眠；或判断结果是则节点node_j继续保留在冷区域缓冲节点队列中；步骤8：更新预测模型，预测下一周期T的节点负载情况。