[发明专利]数据迁移方法、装置、系统、电子设备以及可读存储介质在审
申请号: | 202010432225.X | 申请日: | 2020-05-20 |
公开(公告)号: | CN111708755A | 公开(公告)日: | 2020-09-25 |
发明(设计)人: | 朱博帅 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/23;G06F16/27;G06F11/30 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 吕俊秀 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 迁移 方法 装置 系统 电子设备 以及 可读 存储 介质 | ||
1.一种数据迁移方法,其特征在于,所述方法包括:
在产生数据迁移任务的情况下,将源端数据库中的待迁移数据分批次地写入目标端数据库,其中,当一个批次的待迁移数据成功写入所述目标端数据库后,记录该批次待迁移数据的任务状态信息,该任务状态信息表征该批次待迁移数据已经写入所述目标端数据库;
针对已经写入所述目标端数据库的数据,分批次地删除所述源端数据库中与该数据对应的待迁移数据,其中,当一个批次的待迁移数据被成功删除后,更新该批次待迁移数据的任务状态信息,更新后的任务状态信息表征该批次待迁移数据已经从所述源端数据库删除;
在产生数据读取任务的情况下,读取待读取数据对应的任务状态信息,并根据所述任务状态信息,从所述源端数据库和所述目标端数据库中确定记录有所述待读取数据的数据库,并从该数据库读取所述待读取数据。
2.根据权利要求1所述的方法,其特征在于,在针对已经写入所述目标端数据库的数据,分批次地删除所述源端数据库中与该数据对应的待迁移数据之前,所述方法还包括:
针对已经写入所述目标端数据库的数据,和所述源端数据库中与该数据对应的待迁移数据,进行一致性校验,在一致性校验通过的情况下,更新该数据对应的待迁移数据的任务状态信息,更新后的任务状态信息表征该数据已经通过一致性校验;
所述针对已经写入所述目标端数据库的数据,分批次地删除所述源端数据库中与该数据对应的待迁移数据的步骤,包括:
针对已经写入所述目标端数据库且一致性校验通过的数据,分批次地删除所述源端数据库中与该数据对应的待迁移数据。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
采集运行所述源端数据库的设备的硬件状态参数,以及采集所述源端数据库对应的慢查询次数;
根据所述硬件状态参数和所述慢查询次数,确定所述设备当前的压力值;
在进行所述数据迁移任务的过程中且所述压力值大于预设的压力值上限的情况下,暂停所述数据迁移任务;或者,在暂停所述数据迁移任务期间且所述压力值小于预设的压力值下限的情况下,继续执行所述数据迁移任务。
4.根据权利要求1至3任一所述的方法,其特征在于,所述数据迁移任务由执行节点执行,在执行所述数据迁移任务的原执行节点发生故障的情况下,所述方法还包括:
新执行节点获取各批次待迁移数据各自对应的任务状态信息,并根据所获取的任务状态信息,确定所述原执行节点在发生故障时正在迁移的待迁移数据的批次和该批次对应的迁移阶段;
所述新执行节点以确定出的批次和该批次对应的迁移阶段为任务起点,对未完成迁移的各批次待迁移数据继续执行数据迁移任务。
5.根据权利要求1至3任一所述的方法,其特征在于,所述将源端数据库中的待迁移数据分批次地写入目标端数据库的步骤,包括:
执行所述数据迁移任务的执行节点将所述源端数据库中的待迁移数据分批次地读取出,其中,在读取每个批次的待迁移数据时,将该批次待迁移数据中的各个数据行逐行地从所述源端数据库读取出;
所述执行节点根据运行所述目标端数据库的设备的硬件性能参数,确定批次规模,所述批次规模表征:分批次向所述目标端数据库写入数据时,各个批次数据的数据量;
所述执行节点根据所述批次规模,将读取到的数据分批次地写入所述目标端数据库。
6.根据权利要求1至3任一所述的方法,其特征在于,所述源端数据库中的待迁移数据为数据表,所述将源端数据库中的待迁移数据分批次地写入目标端数据库的步骤,包括:
将所述数据表中的多个数据行分批次地写入所述目标端数据库;
所述方法还包括:
在所述数据表中的所有批次的数据行均写入所述目标端数据库,且所述数据表中的所有批次的数据行均从所述源端数据库中删除后,将所述数据表中的所有批次的数据行各自对应的任务状态信息整合为关于所述数据表的总体状态信息,该总体状态信息用于表征:所述数据表已经成功迁移至所述目标端数据库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010432225.X/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置