[发明专利]一种大数据系统的负载均衡方法

说明书

本发明涉及一种大数据系统的负载均衡方法，该方法包括：数据节点记录其存储的每个数据单元在每次数据操作中被读取的数据量或被更新的数据量；数据节点统计一天内每个数据单元的读取总数据量和更新总数据量；基于所述读取总数据量和更新总数据量为每个数据单元计算负载指数；数据节点计算其存储的所有数据单元的负载指数之和，作为该数据节点的节点负载指数；管理服务器基于各个数据节点的节点负载指数，控制各个数据节点进行负载均衡。该方法平衡系统中各个数据节点的负载，提高了资源利用率。

【技术领域】

本发明属于计算机和互联网领域，尤其涉及大数据领域，具体的，涉及一种大数据系统的负载均衡方法。

【背景技术】

随着计算机和互联网技术的快速发展，我们处在了一个信息爆炸的时代，为了处理大量的信息，出现了大数据的概念。所谓大数据，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

由于数据的海量特性，人们仅仅凭一己之力很难对这些数据这些分析，但是在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据逐步为人类创造更多的价值。

由于大数据系统具有海量数据，其通常使用多个数据节点来存储数据，在实际运行过程中，由于每个节点存储不同的数据，每个节点的负载也是不同的，如果一个节点的负载过高，必然影响其处理数据的速度，造成响应时间太长等问题，而同时其他节点负载低，导致资源闲置。这种不平衡的状况导致系统虽然整体资源足够，实际运行状况却不理想，因此需要进行负载均衡。

【发明内容】

为了解决上述问题，本发明提出了一种大数据系统的负载均衡方法。

本发明采用的技术方案如下：

一种大数据系统的负载均衡方法，包括以下步骤：

(1)数据节点记录其存储的每个数据单元在每次数据操作中被读取的数据量或被更新的数据量；

(2)数据节点统计一天内每个数据单元的读取总数据量和更新总数据量；

(3)基于所述读取总数据量和更新总数据量为每个数据单元计算负载指数；

(4)数据节点计算其存储的所有数据单元的负载指数之和，作为该数据节点的节点负载指数；

(5)数据节点将其计算得到的节点负载指数发送给管理服务器；

(6)管理服务器基于各个数据节点的节点负载指数，控制各个数据节点进行负载均衡；

其中，所述步骤3中，计算一个数据单元的负载指数F的方法如下：

(3.1)当该数据单元被存储到数据节点中时，设置其初始的负载指数F＝0；

(3.2)在获得该数据单元新的一天的读取总数据量R₁和更新总数据量R₂后，计算新的负载指数F_new，即：

F_new＝FS+W₁R₁+W₂R₂

其中，W₁和W₂是预先定义的权重值，S是预先定义的衰减指数，0＜S＜1；

(3.3)将该数据单元的负载指数F更新为F_new。

进一步地，所述步骤6具体包括：