[发明专利]基于数据块数量变化以及带宽变化的心跳间隔调整方法

说明书

本发明提供了一种基于数据块数量变化以及带宽变化的心跳间隔调整方法，一方面，由于不同的DataNode从节点上存储的数据块数量是不同的，当集群节点中的数据块数量发生改变时，可根据心跳间隔计算公式重新计算出一个新的心跳间隔，能够减少心跳传输的消耗，同时进一步加强集群的数据更新实时性，有利于提高HDFS系统的性能。另一方面，还可根据当前网络带宽环境进行调节，当当前网络带宽环境发送变化时，可根据心跳间隔计算公式重新计算出一个新的心跳间隔，实现自适应不同的网络带宽环境来提高心跳机制的网络调节能力，这样能有效的避免在发送高并发心跳信息时发生网络拥塞，有利于提高HDFS系统的性能。

技术领域

本发明涉及大数据技术领域，特别涉及一种基于数据块数量变化以及带宽变化的心跳间隔调整方法。

背景技术

心跳机制是保证分布式文件系统的HDFS中NameNode主节点与DataNode从节点之间进行通信、保证节点运行正常的关键技术。所述心跳机制就是收发心跳数据包的机制，DataNode从节点周期性地主动向NameNode主节点发送心跳信息，报告该节点的存储的数据块数量信息以及报告该节点的健康状态。

在HDFS系统中，NameNode主节点与DataNode从节点之间是利用心跳机制来进行通信从而保证节点运行正常，而传统的心跳机制是在HDFS的配置文件中设定的固定周期发送的。这种方式不能动态调整心跳间隔，特别是根据每个节点中所存储的数据量以及当前集群所处的网络环境来动态调整心跳间隔，这样不利于提高HDFS系统的性能。具体如下：

(1)传统的心跳机制是以固定周期由DataNode从节点向NameNode主节点发送心跳包，这种发送方式不能充分满足现有分布式系统信息量剧增和节点数量多样化的要求，不能根据不同节点上存储的数据量的不同而动态调整心跳间隔。

(2)分布式集群节点所处的网络环境发生变化时，心跳包发送间隔周期不能根据当前网络环境进行调节，从而没有充分满足自适应不同的网络环境来提高心跳机制的网络调节能力。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供了一种基于数据块数量变化以及带宽变化的心跳间隔调整方法。可根据每个DataNode从节点中所存储的数据块数量以及当前集群所处的网络环境来动态调整心跳间隔，提高分布式文件系统的HDFS的性能。

本发明的第一方面，提供了一种基于数据块数量变化的心跳间隔调整方法，包括以下步骤：

在HDFS配置文件中设置预设参数，所述预设参数包括初始心跳间隔T₁、数据块数量中位数M、第一数据块收缩因子α₁以及第二数据块收缩因子α₂，所述第一数据块收缩因子α₁以及第二数据块收缩因子α₂均为正实数；

NameNode主节点接收到来自DataNode从节点发送的心跳包，在对应的心跳应答信息中添加任务信息；

所述DataNode从节点执行完所述任务信息后，更新当前数据块数量m，若所述当前数据块数量m大于所述数据块数量中位数M时，则新的心跳间隔t₁的计算公式为：若所述当前数据块数量m小于所述数据块数量中位数M时，则新的心跳间隔t₁的计算公式为：并且所述第二数据块收缩因子α₂满足公式：

本发明的第二方面，提供了一种基于带宽变化的心跳间隔调整方法，包括以下步骤：

在HDFS配置文件中设置预设参数，所述预设参数包括初始心跳间隔T₁、带宽中位数S、第一带宽收缩因子β₁以及第二带宽收缩因子β₂，所述第一带宽收缩因子β₁以及第二带宽收缩因子β₂均为正实数；