[发明专利]基于MongoShake的数据迁移方法及装置在审
申请号: | 202210066176.1 | 申请日: | 2022-01-20 |
公开(公告)号: | CN114416697A | 公开(公告)日: | 2022-04-29 |
发明(设计)人: | 陈禹旭;姜唯;敖知琪;崔焱;代昊琦;康旖;梁子健;刘明伟 | 申请(专利权)人: | 南方电网数字电网研究院有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/23;G06F16/25;G06F16/27 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 苟冬梅 |
地址: | 510000 广东省广州市黄*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 mongoshake 数据 迁移 方法 装置 | ||
1.基于MongoShake的数据迁移方法,其特征在于,包括:
响应于被启动的数据迁移任务,管理平台调用所述源数据库和目标数据库的服务接口,进行准入验证并检测所述源数据库与所述目标数据库的存活状态;所述数据迁移任务用于在源数据库与目标数据库之间进行数据迁移;
在通过准入验证且检测到所述源数据库与所述目标数据库均存活后,所述管理平台触发配置的MongoShake;
所述MongoShake执行所述数据迁移任务,以将所述源数据库中的全量数据和增量数据迁移至所述目标数据库;
所述管理平台在所述MongoShake执行所述数据迁移任务的过程中,调用所述MongoShake的预设接口,以监控所述数据迁移任务的迁移状态;
所述MongoShake在执行完所述数据迁移任务时,对所述源数据库与所述目标数据库中的数据进行一致性校验;
所述MongoShake在确定所述一致性校验通过时,通知所述管理平台结束所述数据迁移任务。
2.根据权利要求1所述的数据迁移方法,其特征在于,所述管理平台在所述MongoShake执行所述数据迁移任务的过程中,调用所述MongoShake的预设接口,以监控所述数据迁移任务的迁移状态;包括:
在数据迁移过程中,
调用所述MongoShake的预设接口对所述数据迁移任务中主节点状态进行监测并修正;
调用所述MongoShake的预设接口对所述MongoShake的运行状态进行监测。
3.根据权利要求1所述的数据迁移方法,其特征在于,所述MongoShake执行所述数据迁移任务,以将所述源数据库中的全量数据和增量数据迁移至所述目标数据库,包括:
迁移所述源数据库中的全量数据至所述目标数据库,并将全量数据迁移完毕时间记作第一时间;
持续检测在第一时间结束后所述源数据库内是否产生增量数据,
若是,则继续迁移所述增量数据至所述目标数据库,直至不再产生增量数据;
若否,完成数据迁移。
4.根据权利要求2所述的数据迁移方法,其特征在于,所述调用所述MongoShake的预设接口对所述数据迁移任务中主节点状态进行监测并修正,包括:
在进行数据迁移时,持续探测所述源数据库和目标数据库的主节点状态;
若所述数据迁移任务中的主节点出现节点异常,则将所述数据迁移任务中的主节点锁定。
5.根据权利要求2所述的数据迁移方法,其特征在于,所述调用所述MongoShake的预设接口对所述MongoShake的运行状态进行监测,包括:
基于所述MongoShake的restful接口,获取LSN_CKPT.time的数值;
监测LSN_CKPT.time的数值变化情况,
若所述LSN_CKPT.time的数值不断增长,则数据同步正常;
若所述LSN_CKPT.time的数值停止增长,则数据同步异常。
6.根据权利要求1所述的数据迁移方法,其特征在于,所述MongoShake在执行完所述数据迁移任务时,对所述源数据库与所述目标数据库中的数据进行一致性校验,包括:
判断所述源数据库与目标数据库中的数据是否一致,所述数据包括数据库个数、每个数据库中连接的数量、每个连接的数据条数和索引大小;
若一致,则完成一致性校验。
7.根据权利要求1所述的数据迁移方法,其特征在于,所述MongoShake在确定所述一致性校验通过时,通知所述管理平台结束所述数据迁移任务,包括,
停止迁移数据,并将所述数据迁移任务的日志信息存入所述管理平台;
所述管理平台调用所述MongoShake的MongoDB-Job Controller接口,基于所述接口,更新数据迁移任务状态;
在所述数据迁移任务状态更新完毕后,延时停止数据迁移任务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南方电网数字电网研究院有限公司,未经南方电网数字电网研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210066176.1/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置