[发明专利]一种大数据系统的负载均衡方法

权利要求书

1.一种大数据系统的负载均衡方法，其特征在于，包括以下步骤：

(1)数据节点记录其存储的每个数据单元在每次数据操作中被读取的数据量或被更新的数据量；

(2)数据节点统计一天内每个数据单元的读取总数据量和更新总数据量；

(3)基于所述读取总数据量和更新总数据量为每个数据单元计算负载指数；

(4)数据节点计算其存储的所有数据单元的负载指数之和，作为该数据节点的节点负载指数；

(5)数据节点将其计算得到的节点负载指数发送给管理服务器；

(6)管理服务器基于各个数据节点的节点负载指数，控制各个数据节点进行负载均衡；

其中，所述步骤3中，计算一个数据单元的负载指数F的方法如下：

(3.1)当该数据单元被存储到数据节点中时，设置其初始的负载指数F＝0；

(3.2)在获得该数据单元新的一天的读取总数据量R₁和更新总数据量R₂后，计算新的负载指数F_new，即：

F_new＝FS+W₁R₁+W₂R₂

其中，W₁和W₂是预先定义的权重值，S是预先定义的衰减指数，0＜S＜1；

(3.3)将该数据单元的负载指数F更新为F_new。

2.根据权利要求1所述的方法，其特征在于，所述步骤6具体包括：

(6.1)设共有n个数据节点，其相应的节点负载指数为F₁，F₂，……，F_n管理服务器计算上述n个节点负载指数的平均值F_ave；

(6.2)管理服务器计算各节点负载指数与所述平均值的差，即D_i＝F_i–F_ave(1≤i≤n)；

(6.3)对于计算得到的n个D_i，若某个D_i大于预定义的阈值，则将其对应的数据节点加入待均衡节点集合；

(6.4)所述管理服务器向待均衡节点集合中的每个数据节点发出一个准备均衡的命令消息，所述命令消息中包括了上述平均值F_ave；

(6.5)接收到所述命令消息的数据节点计算其节点负载指数与所述平均值的差，并从其存储的数据单元中选择一个负载指数最接近所述差的数据单元，将所选择的数据单元的负载指数通知管理服务器；

(6.6)所述管理服务器按照接收到的负载指数从大到小的顺序，对待均衡节点集合中的各个数据节点排序，设排序后的各个数据节点为A₁，A₂，……，A_m；

(6.7)所述管理服务器按照节点负载指数从小到大的顺序，对相应的数据节点进行排序，取前m个数据节点，设为B₁，B₂，……，B_m；

(6.8)所述管理服务器向数据节点A_j发出负载均衡消息，所述负载均衡消息中包括了数据节点B_j的地址(1≤j≤m)；

(6.9)数据节点A_j将其所选择的数据单元迁移到数据节点B_j，之后A_j删除其存储的该数据单元。

3.根据权利要求1-2任意一项所述的方法，其特征在于，所述步骤2中，每个数据节点在指定时刻进行所述统计。

4.根据权利要求3所述的方法，其特征在于，所述时刻为每天零点。

5.根据权利要求1-4任意一项所述的方法，其特征在于，在数据单元的整个生命周期中，都关联到其相应的负载指数，一旦该数据单元被删除，该负载指数也被删除。

6.根据权利要求2所述的方法，其特征在于，所述步骤6.3中，若所述待均衡节点集合为空集，则方法结束。

7.根据权利要求2所述的方法，其特征在于，在A_j获得B_j的地址后，其与B_j建立连接，将所选择的数据单元发送到B_j存储，之后删除其自身存储的该数据单元。