[发明专利]存储集群的负载均衡方法、装置、计算机设备及存储介质有效
申请号: | 202010355344.X | 申请日: | 2020-04-29 |
公开(公告)号: | CN111580963B | 公开(公告)日: | 2023-07-11 |
发明(设计)人: | 马媛媛;谷忠言;刘子锐 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 存储 集群 负载 均衡 方法 装置 计算机 设备 介质 | ||
1.一种存储集群的负载均衡方法,其特征在于,所述存储集群中包括多个物理节点,每个物理节点包含多组基础数据,所述基础数据为节点服务器当前承载的数据,所述存储集群的负载均衡方法包括:
在对存储集群进行部署时,根据所述存储集群中包含的物理节点的数目,选取预设数目的虚拟节点,分别对每个所述物理节点上的基础数据进行N副本复制,得到每一虚拟节点对应的N组基础数据,并生成虚拟节点与物理节点的映射关系表,其中,N为大于1的正整数;
通过哈希算法将所述基础数据分配至所述虚拟节点上,并通过所述映射关系表,将映射到所述虚拟节点的所述N组基础数据存储在对应的物理节点;
当接收到负载均衡指令时,计算所述存储集群中所有物理节点的所述基础数据的组数均值;
根据所述组数均值和每个所述物理节点中的所述基础数据的组数,确定每个物理节点中所述基础数据的迁出组数;
针对每个物理节点,根据所述迁出组数在所述基础数据中确定迁出数据;
对所述存储集群的所有物理节点对应的基础数据的组数进行比较,将基础数据的组数最小的所述物理节点作为初始迁入节点;
对所述初始迁入节点进行检测,判断所述初始迁入节点中的基础数据是否相同,在所述初始迁入节点中的基础数据相同时,排除所述初始迁入节点,得到更新后的初始迁入节点,并执行所述对所述存储集群的所有物理节点对应的基础数据的组数进行比较,将基础数据的组数最小的所述物理节点作为初始迁入节点的步骤;
在所述初始迁入节点中的基础数据不同时,将所述迁出数据迁入到所述初始迁入节点中,以实现负载均衡;
确定所述每一虚拟节点对应的N组所述基础数据的角色标签,所述角色标签包括领导者角色和跟随者角色;
针对每个所述物理节点,根据物理节点上基础数据的组数和N的比值确定迁移阈值;
根据角色标签为领导者角色的所述基础数据的组数、角色标签为跟随者角色的所述基础数据组数以及每个所述物理节点对应的所述迁移阈值,进行角色标签转换,包括:当角色标签为领导者角色的所述基础数据的组数大于所述迁移阈值时,则将超出所述迁移阈值的角色标签为领导者角色的基础数据的角色标签转换为跟随者角色,并在所述物理节点的基础数据中选择一个基础数据并将其角色标签设置为领导者角色;当角色标签为领导者角色的所述基础数据的组数小于所述迁移阈值时,将角色标签为领导者角色的基础数据转移到所述物理节点上,并将该物理节点中角色标签为领导者角色的基础数据转换为跟随者角色,直到该物理节点中的角色标签为领导者角色的所述基础数据的组数满足所述迁移阈值为止。
2.如权利要求1所述的存储集群的负载均衡方法,其特征在于,所述通过哈希算法将所述基础数据分配至所述虚拟节点上,包括:
基于预设的内存大小,对所述基础数据进行分片处理,得到分片数据,并对每个所述分片数据进行顺序编号;
对所述虚拟节点进行顺序编号,针对每个所述分片数据,使用分片数据的顺序编号对所述虚拟节点的数量进行取余运算,得到该分片数据的编号模;
将编号模相同的分片数据分入同一个分片集合中,并将每个所述分片集合保存到与编号模一致的顺序编号对应的虚拟节点上。
3.如权利要求1所述的存储集群的负载均衡方法,其特征在于,所述确定所述每一虚拟节点对应的N组所述基础数据的角色标签,所述角色标签包括领导者角色和跟随者角色,包括:
向所述存储集群中的物理节点发送投票请求;
接收与所述投票请求对应的所述物理节点返回的投票结果;
根据所述投票结果,从所述物理节点对应的虚拟节点的N组基础数据中,选举出1组基础数据的角色标签确定为领导者角色,N-1组基础数据的角色标签确定为跟随者角色。
4.如权利要求1所述的存储集群的负载均衡方法,其特征在于,在初始迁入节点满足预设限制条件的情况下,则将所述迁出数据迁入到所述初始迁入节点中,以实现负载均衡之后,还包括:
对所述存储集群中所有物理节点进行遍历;
当所述物理节点中不存在迁出数据时,确定所述存储集群的负载达到均衡状态。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010355344.X/1.html,转载请声明来源钻瓜专利网。