[发明专利]基于集群节点负载状态预测的冷热区域划分节能存储方法

说明书

本发明公开了一种基于集群节点负载状态预测的冷热区域划分节能存储方法，属于信息技术处理领域。本申请首先介绍了方法的思想，进而描述了方法的执行步骤，以及方法的伪代码实现；接着对该节能策略的节能效果进行理论上的分析；然后介绍了实验的过程，包括实验的环境，数据集的选用，数据块的访问格式，最后对实验的结果做了分析，通过和Hadoop集群未做冷热区域划分的方式的能耗进行量化的分析比较，验证了本申请的节能存储策略具有一定的实际节能效果。

技术领域

本发明属于信息技术处理领域，具体涉及一种基于集群节点负载状态预测的冷热区域划分节能存储方法。

背景技术

云计算技术的发展使得数据中心的规模和数量不断扩大，同时也带来数据中心集群能耗成本越来越高的问题。在Hadoop集群中为了实现数据的可靠性，每个数据块有多个备份。随着时间推移，数据块的访问频率逐步下降，节点的计算负载也逐步降低。这就导致了某些计算节点以较低的负载在运行，造成了能源浪费。同时，数据节点存储的数据块会有相当大比例的时间变为冷数据，而且这些数据会占用计算节点的存储资源。因此，需要对数据块的多个备份进行迁移，休眠部分节点，节省能源。

发明内容

针对现有技术中存在的上述技术问题，本发明提出了一种基于集群节点负载状态预测的冷热区域划分节能存储方法，设计合理，克服了现有技术的不足，具有良好的效果。

为了实现上述目的，本发明采用如下技术方案：

一种基于集群节点负载状态预测的冷热区域划分节能存储方法，包括如下步骤：

步骤1：基于LSTM预测模型，预测节点周期T内的负载，并按照负载从高到低排列列表Load_List：

其中，node_i表示第i个节点，i＝1,2,…,m；表示节点node_i在周期T内的负载；node_j表示第j个节点，j＝m+1,m+2,…,n；表示节点node_j在周期T内的负载；

步骤2：根据负载值列表Load_List，通过预设负载阈值Threshold，划分为热区域Nset_hot和冷区域Nset_cold，假定热区域中有m个节点，冷区域中有n-m个节点，m≤n，即：

Nset_hot＝{node₁,node₂,…,node_i,…,node_m}；其中，i＝1,2,…,m；

Nset_cold＝{node_m+1,node_m+2,…,node_j,…,node_n}；其中，j＝m+1,m+2,…,n；

步骤3：判断热区域的资源量Resource和需求量Requirement的关系；

若：判断结果是Resource＜Requirement，则执行步骤4；

判断结果是Resource≥Requirement，则执行步骤5；

步骤4：将缓冲队列的节点逐个加入到热区域中，直到热区域中资源量Resource≥Requirement，或缓冲队列中所有节点都加入热区域为止；如果仍然不满足Resource≥Requirement，则逐个激活休眠队列的节点，并将其加入到热区域直到满足Resource≥Requirement为止，然后进行负载均衡操作；

步骤5：将新创建的数据块存储在热区域Nset_hot节点中，并且采用集群默认的数据块放置策略；