[发明专利]数据迁移的方法和装置在审
申请号: | 201710334373.6 | 申请日: | 2017-05-12 |
公开(公告)号: | CN108874828A | 公开(公告)日: | 2018-11-23 |
发明(设计)人: | 潘新宇 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张一军;赵静 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 源数据库 数据库 方法和装置 数据迁移 同步流程 迁移率 同步的 迁移 变更 数据库数据 数据发生 度计算 用户维 监听 更新 改进 | ||
1.一种数据迁移的方法,其特征在于,包括:
将源数据库中的数据全量同步至新数据库;
在所述全量同步的过程中,监听所述源数据库中数据的变更情况,若所述源数据库中的数据发生变更,则将所述新数据库中对应的已实现同步的数据进行更新;
按照用户维度计算迁移率,当某用户的数据的迁移率达到100%时,将所述某用户对应的数据库从源数据库切换至新数据库。
2.根据权利要求1所述的方法,其特征在于,在将源数据库中的数据全量同步至新数据库之前,所述方法还包括:根据所述新数据库中表的设计结构,将源数据库中的数据进行结构转换。
3.根据权利要求1所述的方法,其特征在于,将源数据库中的数据全量同步至新数据库包括:利用自增主键ID,顺序选择所述源数据库中的预设条数的数据,同步至新数据库,直至完成全量同步。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:利用ACK机制判断每次顺序选择的所述源数据库中的预设条数的数据是否已完成同步。
5.根据权利要求3所述的方法,其特征在于,在将每次顺序选择的所述源数据库中的预设条数的数据完成同步之后,所述方法还包括:将所述预设条数的数据的全部自增主键ID记录至迁移记录数据库中,并将所述预设条数的数据的最后一条数据的自增主键ID作为下次顺序选择数据的起始位移ID记录在迁移记录数据库中。
6.根据权利要求1所述的方法,其特征在于,监听所述源数据库中数据的变更情况包括:基于binlog机制,监听所述源数据库中数据的变更情况。
7.根据权利要求5所述的方法,其特征在于,将所述新数据库中对应的已实现同步的数据进行更新包括:判断发生变更的数据的自增主键ID是否存在于迁移记录数据库中,若存在,则对所述新数据库中对应的数据进行更新,若不存在则不更新。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:利用可视化界面,实时监控数据迁移进度。
9.一种数据迁移的装置,其特征在于,包括:
全量同步模块,用于将源数据库中的数据全量同步至新数据库;
增量同步模块,用于在所述全量同步的过程中,监听所述源数据库中数据的变更情况,若所述源数据库中的数据发生变更,则将所述新数据库中对应的已实现同步的数据进行更新;
切换模块,用于按照用户维度计算迁移率,当某用户的数据的迁移率达到100%时,将所述某用户对应的数据库从源数据库切换至新数据库。
10.根据权利要求9所述的装置,其特征在于,所述全量同步模块还用于:根据所述新数据库中表的设计结构,将源数据库中的数据进行结构转换。
11.根据权利要求9所述的装置,其特征在于,所述全量同步模块还用于:利用自增主键ID,顺序选择所述源数据库中的预设条数的数据,同步至新数据库,直至完成全量同步。
12.根据权利要求11所述的装置,其特征在于,所述全量同步模块还用于:利用ACK机制判断每次顺序选择的所述源数据库中的预设条数的数据是否已完成同步。
13.根据权利要求11所述的装置,其特征在于,所述装置还包括:迁移记录模块,用于将所述预设条数的数据的全部自增主键ID记录至迁移记录数据库中,并将所述预设条数的数据的最后一条数据的自增主键ID作为下次顺序选择数据的起始位移ID记录在迁移记录数据库中。
14.根据权利要求9所述的装置,其特征在于,所述增量同步模块还用于:基于binlog机制,监听所述源数据库中数据的变更情况。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710334373.6/1.html,转载请声明来源钻瓜专利网。