[发明专利]数据迁移方法、装置、计算机设备和存储介质有效
申请号: | 201810103315.7 | 申请日: | 2018-02-01 |
公开(公告)号: | CN108304553B | 公开(公告)日: | 2021-04-27 |
发明(设计)人: | 陈果;徐鑫 | 申请(专利权)人: | 平安普惠企业管理有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 易皎鹤 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 迁移 方法 装置 计算机 设备 存储 介质 | ||
1.一种数据迁移方法,所述方法包括:
查询中间数据库中是否存在未从源数据库导入至目标数据库的数据的当前索引;若存在,则从所述中间数据库获取与所述当前索引对应的未导入数据;其中,在数据从源数据库导入至目的数据库时,若目的数据库发生异常或者传输线路发生异常,则先将这期间需要迁移的数据先存储在中间数据库中;待异常问题被解决后,再将中间数据库中的数据迁移至目的数据库中;中间数据库是通过索引管理存储的数据,一个索引对应一条数据;当前索引是根据中间数据库中的索引建立的;每隔一段时间,检测在这段时间内中间数据库中是否存在需要导入目的数据库中的异常信息;
将根据中间数据库中的索引生成的当前索引根据预设分批逻辑分为多个批次;再通过Redis将分批完的数据的每一批次启动一个线程执行数据导入的操作,最后对所有批次的导入结果进行统计汇总,得到综合导入结果;
获取所述综合导入结果,并查询所述中间数据库中是否存在未从源数据库导入至目标数据库的新的数据的索引;若存在,则根据所述综合导入结果和所述新的数据的索引更新所述当前索引;
根据从所述中间数据库中获取与更新后的所述当前索引对应的未导入数据,并将与更新后的所述当前索引对应的所述未导入数据导入目标数据库。
2.根据权利要求1所述的方法,其特征在于,将与所述当前索引对应的所述未导入数据导入所述目标数据库,包括:
按照预设分批逻辑将与所述当前索引对应的所述未导入数据进行分批处理;
将分批处理后的所述未导入数据分批导入所述目标数据库;
所述获取与所述当前索引对应的所述未导入数据导入所述目标数据库的综合导入结果,包括:
获取每一批所述未导入数据导入所述目标数据库的批次导入结果,并根据所述批次导入结果得到综合导入结果。
3.根据权利要求1所述的方法,其特征在于,所述将与更新后的所述当前索引对应的所述未导入数据导入目标数据库,包括:
统计与更新后的所述当前索引对应的所述未导入数据的条数,当与更新后的所述当前索引对应的所述未导入数据的条数大于0且小于预设条数时,将更新后的当前索引清空;
将与更新后的所述当前索引对应的所述未导入数据导入到目标数据库中。
4.根据权利要求1所述的方法,其特征在于,所述将与更新后的所述当前索引对应的所述未导入数据导入目标数据库,包括:
统计与更新后的所述当前索引对应的所述未导入数据的条数,当与更新后的所述当前索引对应的所述未导入数据的条数大于等于预设条数时,将与更新后的所述当前索引对应的所述未导入数据导入到所述目标数据库中,并获取与更新后的所述当前索引对应的所述未导入数据导入到所述目标数据库后的综合导入结果后;继续查询所述中间数据库中是否存在未从源数据库导入至目标数据库的新的数据的索引。
5.根据权利要求3或4所述的方法,其特征在于,所述统计与更新后的所述当前索引对应的所述未导入数据的条数之后,还包括:
当与更新后的所述当前索引对应的所述未导入数据的条数小于等于0时,则将更新后的当前索引清空。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当未获取到与所述当前索引对应的未导入数据时,则输出索引错误信息;
接收针对所述当前索引的修正指令;
根据所述修正指令建立所述当前索引以及所述当前索引对应的未导入数据的映射关系,并继续从所述中间数据库获取与所述当前索引对应的未导入数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安普惠企业管理有限公司,未经平安普惠企业管理有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810103315.7/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置