[发明专利]数据迁移方法、装置、系统、电子设备以及可读存储介质在审

专利信息
申请号: 202010432225.X 申请日: 2020-05-20
公开(公告)号: CN111708755A 公开(公告)日: 2020-09-25
发明(设计)人: 朱博帅 申请(专利权)人: 北京奇艺世纪科技有限公司
主分类号: G06F16/21 分类号: G06F16/21;G06F16/23;G06F16/27;G06F11/30
代理公司: 北京润泽恒知识产权代理有限公司 11319 代理人: 吕俊秀
地址: 100080 北京市海淀*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据 迁移 方法 装置 系统 电子设备 以及 可读 存储 介质
【权利要求书】:

1.一种数据迁移方法,其特征在于,所述方法包括:

在产生数据迁移任务的情况下,将源端数据库中的待迁移数据分批次地写入目标端数据库,其中,当一个批次的待迁移数据成功写入所述目标端数据库后,记录该批次待迁移数据的任务状态信息,该任务状态信息表征该批次待迁移数据已经写入所述目标端数据库;

针对已经写入所述目标端数据库的数据,分批次地删除所述源端数据库中与该数据对应的待迁移数据,其中,当一个批次的待迁移数据被成功删除后,更新该批次待迁移数据的任务状态信息,更新后的任务状态信息表征该批次待迁移数据已经从所述源端数据库删除;

在产生数据读取任务的情况下,读取待读取数据对应的任务状态信息,并根据所述任务状态信息,从所述源端数据库和所述目标端数据库中确定记录有所述待读取数据的数据库,并从该数据库读取所述待读取数据。

2.根据权利要求1所述的方法,其特征在于,在针对已经写入所述目标端数据库的数据,分批次地删除所述源端数据库中与该数据对应的待迁移数据之前,所述方法还包括:

针对已经写入所述目标端数据库的数据,和所述源端数据库中与该数据对应的待迁移数据,进行一致性校验,在一致性校验通过的情况下,更新该数据对应的待迁移数据的任务状态信息,更新后的任务状态信息表征该数据已经通过一致性校验;

所述针对已经写入所述目标端数据库的数据,分批次地删除所述源端数据库中与该数据对应的待迁移数据的步骤,包括:

针对已经写入所述目标端数据库且一致性校验通过的数据,分批次地删除所述源端数据库中与该数据对应的待迁移数据。

3.根据权利要求1所述的方法,其特征在于,所述方法还包括:

采集运行所述源端数据库的设备的硬件状态参数,以及采集所述源端数据库对应的慢查询次数;

根据所述硬件状态参数和所述慢查询次数,确定所述设备当前的压力值;

在进行所述数据迁移任务的过程中且所述压力值大于预设的压力值上限的情况下,暂停所述数据迁移任务;或者,在暂停所述数据迁移任务期间且所述压力值小于预设的压力值下限的情况下,继续执行所述数据迁移任务。

4.根据权利要求1至3任一所述的方法,其特征在于,所述数据迁移任务由执行节点执行,在执行所述数据迁移任务的原执行节点发生故障的情况下,所述方法还包括:

新执行节点获取各批次待迁移数据各自对应的任务状态信息,并根据所获取的任务状态信息,确定所述原执行节点在发生故障时正在迁移的待迁移数据的批次和该批次对应的迁移阶段;

所述新执行节点以确定出的批次和该批次对应的迁移阶段为任务起点,对未完成迁移的各批次待迁移数据继续执行数据迁移任务。

5.根据权利要求1至3任一所述的方法,其特征在于,所述将源端数据库中的待迁移数据分批次地写入目标端数据库的步骤,包括:

执行所述数据迁移任务的执行节点将所述源端数据库中的待迁移数据分批次地读取出,其中,在读取每个批次的待迁移数据时,将该批次待迁移数据中的各个数据行逐行地从所述源端数据库读取出;

所述执行节点根据运行所述目标端数据库的设备的硬件性能参数,确定批次规模,所述批次规模表征:分批次向所述目标端数据库写入数据时,各个批次数据的数据量;

所述执行节点根据所述批次规模,将读取到的数据分批次地写入所述目标端数据库。

6.根据权利要求1至3任一所述的方法,其特征在于,所述源端数据库中的待迁移数据为数据表,所述将源端数据库中的待迁移数据分批次地写入目标端数据库的步骤,包括:

将所述数据表中的多个数据行分批次地写入所述目标端数据库;

所述方法还包括:

在所述数据表中的所有批次的数据行均写入所述目标端数据库,且所述数据表中的所有批次的数据行均从所述源端数据库中删除后,将所述数据表中的所有批次的数据行各自对应的任务状态信息整合为关于所述数据表的总体状态信息,该总体状态信息用于表征:所述数据表已经成功迁移至所述目标端数据库。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010432225.X/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top