[发明专利]一种基于节点热度的心跳间隔动态调整方法、装置及系统

说明书

本发明提供了一种基于节点热度的心跳间隔动态调整方法、装置及系统。方法包括：分别获取DataNode从节点i在当前时刻j所在周期的前m个连续周期的访问频率，其中m为预设的整数参数；根据前m个连续周期的访问频率计算出DataNode从节点i在当前时刻j的预测访问热度；根据预测访问热度计算出DataNode从节点i在当前时刻j的心跳发送间隔；根据心跳发送间隔进行自动调整处理。本方法通过计算DataNode从节点在每个周期的访问热度，来预测下一时刻的访问热度，并且通过该访问热度计算出心跳发送间隔，以此用来动态调节DataNode从节点的心跳发送间隔，解决了现有技术中不能根据DataNode从节点被访问的频率即DataNode从节点访问热度来动态调整心跳发送间隔的缺陷，提高了HDFS系统的性能。

技术领域

本发明涉及大数据技术领域，特别是涉及一种基于节点热度的心跳间隔动态调整方法、装置及系统。

背景技术

心跳机制是保证分布式文件文件系统HDFS中NameNode主节点与DataNode从节点之间进行通信、保证节点运行正常的关键技术。所谓的心跳机制，就是收发心跳数据包的机制，从节点周期性地主动向主节点发送心跳信息，报告该节点的存储的数据块信息以及节点的健康状态。

心跳间隔的大小预先在配置文件中配置，不会随着节点访问需求、数据中心状态的变化而调整，因此，对于访问频率特别大的节点会因为心跳间隔过大，部分访问请求不能及时响应而降低系统的服务性能，对于访问频率特别小的节点可能又会因为心跳间隔过小而增大了心跳包发送的传输代价，造成了巨大的压力。

由于在HDFS系统中NameNode主节点与DataNode从节点之间是利用心跳机制来进行通信、保证节点运行正常的，而传统的心跳信息传输方式是在HDFS的配置文件中设定的固定周期发送的。若该心跳间隔设置的太小，NameNode主节点即需要同时处理大量高并发的心跳信息，这样势必会给其造成很大的压力，同时也会增加DataNode从节点的心跳包发送的传输代价；若该心跳间隔设置的太大，则会导致NameNode主节点发送任务不及时，同时DataNode从节点信息更新不实时。所以若都以相同的心跳发送周期发送心跳包，节点不能有效的自动调节心跳间隔，从而降低了HDFS的性能。当分布式集群节点被访问的频率差异过大时，心跳包发送间隔周期不能根据节点访问热度进行调节，没有充分满足自适应不同的节点访问热度来提高心跳机制的调节能力。

例如：传统的HDFS系统上的心跳发送间隔默认为3秒，该时间间隔可以在系统配置文件中修改，设置完成后，整个集群中的DataNode从节点都以该时间间隔向NameNode主节点发送心跳包。当某个DataNode从节点被访问的频率很大时，默认的心跳间隔会使部分节点不能及时响应而降低系统的服务性能，导致DataNode从节点信息更新不实时。当某个DataNode从节点被访问的频率很小时，默认的心跳间隔导致NameNode主节点需要处理大量高并发的无用的心跳信息，这样很容易会给其造成很大的处理压力，同时也会增加DataNode从节点的心跳包发送的传输代价；

综上，传统的周期性心跳发送机制不能根据每个节点被访问的频率也即节点热度来动态调整心跳发送间隔，这样不利于提高HDFS系统的性能。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供了一种基于节点热度的心跳间隔动态调整方法、装置及系统。

本发明解决其问题所采用的技术方案是：

本发明的第一方面，提供了一种基于节点热度的心跳间隔动态调整方法，应用于HDFS系统，包括以下步骤：

分别获取DataNode从节点i在当前时刻j所在周期的前m个连续周期的访问频率，其中m为预设的整数参数；

根据所述前m个连续周期的访问频率计算出所述DataNode从节点i在当前时刻j的预测访问热度；