[发明专利]一种分布式数据库集群的数据迁移方法和装置有效
申请号: | 201611232054.6 | 申请日: | 2016-12-28 |
公开(公告)号: | CN106844510B | 公开(公告)日: | 2021-01-15 |
发明(设计)人: | 黄海 | 申请(专利权)人: | 北京五八信息技术有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/21 |
代理公司: | 工业和信息化部电子专利中心 11010 | 代理人: | 齐洁茹 |
地址: | 100083 北京市海淀区学清*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 数据库 集群 数据 迁移 方法 装置 | ||
1.一种分布式数据库集群的数据迁移方法,所述集群包括m个数据库节点,其特征在于,所述集群还包括n个分片,每个所述数据库节点负责存储一个或多个分片的数据,所述n大于m;所述方法包括:
按设定的分配方式,将进入集群的数据分配到相应的分片上;
当集群内需要数据迁移时,确定需要数据迁移的数据库节点;
在确定的数据库节点管理的分片中,选择出需要迁出的分片;
将选择出的分片的数据从原数据库节点迁移到指定的数据库节点;
当集群整体数据量过载,需要集群内数据迁移时,指定的数据库节点为新增的数据库节点;
当集群内单数据库节点数据量过载,需要集群内数据迁移时,指定的数据库节点为集群内未发生数据量过载的数据库节点中的一个或多个;
在确定集群内单数据库节点数据量是否过载时,统计每个分片的数据量,根据每个分片的数据量得到各个数据库节点的数据量,当该数据量满足设定的过载标准时,判定发生数据量过载;
当集群整体数据量过载,需要集群内数据迁移时,所述确定需要数据迁移的数据库节点,包括:
统计每个分片的数据量,根据每个分片的数据量得到各数据库节点所管理的分片的数据总量;
求取每个数据库节点所管理的分片的数据总量的平均值,确定出数据总量超出所述平均值的数据库节点为需要数据迁移的数据库节点;
当需要集群间数据迁移时,启动新集群内的主节点,并将新集群内的主节点设置为旧集群相应主节点的从节点;
通过主从同步的方式,将旧集群中主节点的数据同步到所述新集群中的主节点;
在新旧集群的主节点间同步完成后,启动新集群内的从节点,进行新集群内的主从节点的数据同步,并将旧集群的读写流量切换到新集群。
2.如权利要求1所述的方法,其特征在于,所述按设定的分配方式,将进入集群的数据分配到相应的分片上,包括:
将进入集群的数据的键key通过哈希后对n取模;
将所述数据分配到分片标识与取模后的值相同的分片上。
3.如权利要求1所述的方法,其特征在于,所述新、旧集群内均划分有多个数据库节点组,每个数据库节点组内均设有主节点和从节点,且每个数据库节点组内的主节点负责本组内的数据同步。
4.一种分布式数据库集群的数据迁移装置,所述集群包括m个数据库节点,其特征在于,所述集群还包括n个分片,每个所述数据库节点负责存储一个或多个分片的数据,所述n大于m;所述装置包括:
数据分配模块,用于按设定的分配方式,将进入集群的数据分配到相应的分片上;
迁移处理模块,用于当集群内需要数据迁移时,确定需要数据迁移的数据库节点,在确定的数据库节点管理的分片中,选择出需要迁出的分片,将选择出的分片的数据从原数据库节点迁移到指定的数据库节点;
当集群整体数据量过载,需要集群内数据迁移时,指定的数据库节点为新增的数据库节点;
当集群内单数据库节点数据量过载,需要集群内数据迁移时,指定的数据库节点为集群内未发生数据量过载的数据库节点中的一个或多个;
在确定集群内单数据库节点数据量是否过载时,统计每个分片的数据量,根据每个分片的数据量得到各个数据库节点的数据量,当该数据量满足设定的过载标准时,判定发生数据量过载;
当集群整体数据量过载,需要集群内数据迁移时,所述迁移处理模块,具体用于统计每个分片的数据量,根据每个分片的数据量得到各数据库节点所管理的分片的数据总量,求取每个数据库节点所管理的分片的数据总量的平均值,确定出数据总量超出所述平均值的数据库节点为需要数据迁移的数据库节点;
所述迁移处理模块,还用于当需要集群间数据迁移时,启动新集群内的主节点,并将新集群内的主节点设置为旧集群相应主节点的从节点,通过主从同步的方式,将旧集群中主节点的数据同步到所述新集群中的主节点,并在新旧集群的主节点间同步完成后,启动新集群内的从节点,进行新集群内的主从节点的数据同步,并将旧集群的读写流量切换到新集群。
5.如权利要求4所述的装置,其特征在于,所述数据分配模块,具体用于将进入集群的数据的键key通过哈希后对n取模,将所述数据分配到分片标识与取模后的值相同的分片上。
6.如权利要求4所述的装置,其特征在于,所述新、旧集群内均划分有多个数据库节点组,每个数据库节点组内均设有主节点和从节点,且每个数据库节点组内的主节点负责本组内的数据同步。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京五八信息技术有限公司,未经北京五八信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611232054.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置