[发明专利]一种分布式数据库集群的数据迁移方法和装置有效

专利信息
申请号: 201611232054.6 申请日: 2016-12-28
公开(公告)号: CN106844510B 公开(公告)日: 2021-01-15
发明(设计)人: 黄海 申请(专利权)人: 北京五八信息技术有限公司
主分类号: G06F16/27 分类号: G06F16/27;G06F16/21
代理公司: 工业和信息化部电子专利中心 11010 代理人: 齐洁茹
地址: 100083 北京市海淀区学清*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 分布式 数据库 集群 数据 迁移 方法 装置
【权利要求书】:

1.一种分布式数据库集群的数据迁移方法,所述集群包括m个数据库节点,其特征在于,所述集群还包括n个分片,每个所述数据库节点负责存储一个或多个分片的数据,所述n大于m;所述方法包括:

按设定的分配方式,将进入集群的数据分配到相应的分片上;

当集群内需要数据迁移时,确定需要数据迁移的数据库节点;

在确定的数据库节点管理的分片中,选择出需要迁出的分片;

将选择出的分片的数据从原数据库节点迁移到指定的数据库节点;

当集群整体数据量过载,需要集群内数据迁移时,指定的数据库节点为新增的数据库节点;

当集群内单数据库节点数据量过载,需要集群内数据迁移时,指定的数据库节点为集群内未发生数据量过载的数据库节点中的一个或多个;

在确定集群内单数据库节点数据量是否过载时,统计每个分片的数据量,根据每个分片的数据量得到各个数据库节点的数据量,当该数据量满足设定的过载标准时,判定发生数据量过载;

当集群整体数据量过载,需要集群内数据迁移时,所述确定需要数据迁移的数据库节点,包括:

统计每个分片的数据量,根据每个分片的数据量得到各数据库节点所管理的分片的数据总量;

求取每个数据库节点所管理的分片的数据总量的平均值,确定出数据总量超出所述平均值的数据库节点为需要数据迁移的数据库节点;

当需要集群间数据迁移时,启动新集群内的主节点,并将新集群内的主节点设置为旧集群相应主节点的从节点;

通过主从同步的方式,将旧集群中主节点的数据同步到所述新集群中的主节点;

在新旧集群的主节点间同步完成后,启动新集群内的从节点,进行新集群内的主从节点的数据同步,并将旧集群的读写流量切换到新集群。

2.如权利要求1所述的方法,其特征在于,所述按设定的分配方式,将进入集群的数据分配到相应的分片上,包括:

将进入集群的数据的键key通过哈希后对n取模;

将所述数据分配到分片标识与取模后的值相同的分片上。

3.如权利要求1所述的方法,其特征在于,所述新、旧集群内均划分有多个数据库节点组,每个数据库节点组内均设有主节点和从节点,且每个数据库节点组内的主节点负责本组内的数据同步。

4.一种分布式数据库集群的数据迁移装置,所述集群包括m个数据库节点,其特征在于,所述集群还包括n个分片,每个所述数据库节点负责存储一个或多个分片的数据,所述n大于m;所述装置包括:

数据分配模块,用于按设定的分配方式,将进入集群的数据分配到相应的分片上;

迁移处理模块,用于当集群内需要数据迁移时,确定需要数据迁移的数据库节点,在确定的数据库节点管理的分片中,选择出需要迁出的分片,将选择出的分片的数据从原数据库节点迁移到指定的数据库节点;

当集群整体数据量过载,需要集群内数据迁移时,指定的数据库节点为新增的数据库节点;

当集群内单数据库节点数据量过载,需要集群内数据迁移时,指定的数据库节点为集群内未发生数据量过载的数据库节点中的一个或多个;

在确定集群内单数据库节点数据量是否过载时,统计每个分片的数据量,根据每个分片的数据量得到各个数据库节点的数据量,当该数据量满足设定的过载标准时,判定发生数据量过载;

当集群整体数据量过载,需要集群内数据迁移时,所述迁移处理模块,具体用于统计每个分片的数据量,根据每个分片的数据量得到各数据库节点所管理的分片的数据总量,求取每个数据库节点所管理的分片的数据总量的平均值,确定出数据总量超出所述平均值的数据库节点为需要数据迁移的数据库节点;

所述迁移处理模块,还用于当需要集群间数据迁移时,启动新集群内的主节点,并将新集群内的主节点设置为旧集群相应主节点的从节点,通过主从同步的方式,将旧集群中主节点的数据同步到所述新集群中的主节点,并在新旧集群的主节点间同步完成后,启动新集群内的从节点,进行新集群内的主从节点的数据同步,并将旧集群的读写流量切换到新集群。

5.如权利要求4所述的装置,其特征在于,所述数据分配模块,具体用于将进入集群的数据的键key通过哈希后对n取模,将所述数据分配到分片标识与取模后的值相同的分片上。

6.如权利要求4所述的装置,其特征在于,所述新、旧集群内均划分有多个数据库节点组,每个数据库节点组内均设有主节点和从节点,且每个数据库节点组内的主节点负责本组内的数据同步。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京五八信息技术有限公司,未经北京五八信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201611232054.6/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top