[发明专利]数据库数据迁移方法、装置、介质和电子设备在审
申请号: | 202010774424.9 | 申请日: | 2020-08-04 |
公开(公告)号: | CN112015716A | 公开(公告)日: | 2020-12-01 |
发明(设计)人: | 王帅;王颖泽 | 申请(专利权)人: | 北京人大金仓信息技术股份有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21 |
代理公司: | 北京开阳星知识产权代理有限公司 11710 | 代理人: | 安伟 |
地址: | 100102 北京市朝阳区容*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据库 数据 迁移 方法 装置 介质 电子设备 | ||
1.一种数据库数据迁移方法,其特征在于,包括:
确定源数据库中每张表的第一数据量;
确定线程单次读取的第二数据量;所述第二数据量与计算机资源相关;
基于所述第二数据量以及所述每张表的第一数据量,确定所述每张表的数据迁移完所需的线程数;
控制启动指定数量的线程,基于所述每张表对应的线程数调度所述指定数量的线程以读取所述每张表中的数据并写入目标数据库。
2.根据权利要求1所述的数据库数据迁移方法,其特征在于,所述源数据库包括数据库统计信息,所述数据库统计信息包含每张表的数据量;所述确定源数据库中每张表的第一数据量,包括:
获取所述源数据库中的所述数据库统计信息;
基于所述数据库统计信息确定所述源数据库中每张表的第一数据量。
3.根据权利要求1所述的数据库数据迁移方法,其特征在于,所述计算机资源包括CPU资源、I/O资源和内存资源中的至少一个;和/或,所述指定数量与CPU核数相关,且该指定数量小于等于CPU核数的两倍值;所述确定线程单次读取的第二数据量,包括:
基于所述CPU资源、I/O资源和内存资源中的至少一个确定线程单次读取的第二数据量。
4.根据权利要求1所述的数据库数据迁移方法,其特征在于,所述基于所述第二数据量以及所述每张表的第一数据量,确定所述每张表的数据迁移完所需的线程数,包括:
确定所述第二数据量是否大于所述每张表的第一数据量;
确定所述第二数据量大于所述每张表的第一数据量时,所述每张表对应的线程数是第一数值;
确定所述第二数据量不大于所述每张表的第一数据量时,所述每张表对应的线程数是第二数值;所述第二数值大于第一数值。
5.根据权利要求4所述的数据库数据迁移方法,其特征在于,所述每张表对应的线程数是第二数值由以下方式确定:
取余运算所述每张表的第一数据量与所述第二数据量;
确定取余运算的结果是零时,所述每张表对应的线程数是所述每张表的第一数据量与所述第二数据量取模运算的结果;
确定取余运算的结果不是零时,所述每张表对应的线程数是所述每张表的第一数据量与所述第二数据量取模运算的结果再加一。
6.根据权利要求1所述的数据库数据迁移方法,其特征在于,还包括:
基于所述每张表对应的线程数对每张表中的数据进行分片得到分片数据;其中所述分片数据的片数与该线程数相同;
为各所述分片数据建立查询关键字,基于各所述分片数据的查询关键字构建各所述分片数据的查询SQL并放入队列中;
所述基于所述每张表对应的线程数调度所述指定数量的线程以读取所述每张表中的数据并写入目标数据库,包括:
基于所述每张表对应的线程数,从所述指定数量的线程中调度与该线程数对应的线程依次从所述队列中获取每张表的各所述分片数据的查询SQL以执行分片数据的查询操作,并将查询结果写入所述目标数据库。
7.根据权利要求6所述的数据库数据迁移方法,其特征在于,各所述分片数据是所述每张表中的部分行数据,各所述分片数据的所述查询关键字是哈希值,该哈希值由所述部分行数据的唯一标识以及预设哈希函数确定;其中,所述唯一标识用以指示行数据在所述源数据库中的物理存储位置。
8.根据权利要求1~7任一项所述的数据库数据迁移方法,其特征在于,还包括:
在所述目标数据库中创建预设约束,所述预设约束被配置为指示所述目标数据库在写入数据时不检查数据完整性;
确定所述源数据库中的数据迁移完之后,更改所述预设约束以启动检查数据完整性。
9.根据权利要求1~7任一项所述的数据库数据迁移方法,其特征在于,在所述目标数据库中写入数据之前,还包括:
获取所述源数据库的编码集,将所述目标数据库的编码集设置为与所述源数据库的编码集一致。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京人大金仓信息技术股份有限公司,未经北京人大金仓信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010774424.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:碳纳米管超黑涂料及其制备方法
- 下一篇:多微粉预制浆添加工艺及其输送系统
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置