[发明专利]数据库数据迁移方法、装置、介质和电子设备在审

专利信息
申请号: 202010774424.9 申请日: 2020-08-04
公开(公告)号: CN112015716A 公开(公告)日: 2020-12-01
发明(设计)人: 王帅;王颖泽 申请(专利权)人: 北京人大金仓信息技术股份有限公司
主分类号: G06F16/21 分类号: G06F16/21
代理公司: 北京开阳星知识产权代理有限公司 11710 代理人: 安伟
地址: 100102 北京市朝阳区容*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据库 数据 迁移 方法 装置 介质 电子设备
【权利要求书】:

1.一种数据库数据迁移方法,其特征在于,包括:

确定源数据库中每张表的第一数据量;

确定线程单次读取的第二数据量;所述第二数据量与计算机资源相关;

基于所述第二数据量以及所述每张表的第一数据量,确定所述每张表的数据迁移完所需的线程数;

控制启动指定数量的线程,基于所述每张表对应的线程数调度所述指定数量的线程以读取所述每张表中的数据并写入目标数据库。

2.根据权利要求1所述的数据库数据迁移方法,其特征在于,所述源数据库包括数据库统计信息,所述数据库统计信息包含每张表的数据量;所述确定源数据库中每张表的第一数据量,包括:

获取所述源数据库中的所述数据库统计信息;

基于所述数据库统计信息确定所述源数据库中每张表的第一数据量。

3.根据权利要求1所述的数据库数据迁移方法,其特征在于,所述计算机资源包括CPU资源、I/O资源和内存资源中的至少一个;和/或,所述指定数量与CPU核数相关,且该指定数量小于等于CPU核数的两倍值;所述确定线程单次读取的第二数据量,包括:

基于所述CPU资源、I/O资源和内存资源中的至少一个确定线程单次读取的第二数据量。

4.根据权利要求1所述的数据库数据迁移方法,其特征在于,所述基于所述第二数据量以及所述每张表的第一数据量,确定所述每张表的数据迁移完所需的线程数,包括:

确定所述第二数据量是否大于所述每张表的第一数据量;

确定所述第二数据量大于所述每张表的第一数据量时,所述每张表对应的线程数是第一数值;

确定所述第二数据量不大于所述每张表的第一数据量时,所述每张表对应的线程数是第二数值;所述第二数值大于第一数值。

5.根据权利要求4所述的数据库数据迁移方法,其特征在于,所述每张表对应的线程数是第二数值由以下方式确定:

取余运算所述每张表的第一数据量与所述第二数据量;

确定取余运算的结果是零时,所述每张表对应的线程数是所述每张表的第一数据量与所述第二数据量取模运算的结果;

确定取余运算的结果不是零时,所述每张表对应的线程数是所述每张表的第一数据量与所述第二数据量取模运算的结果再加一。

6.根据权利要求1所述的数据库数据迁移方法,其特征在于,还包括:

基于所述每张表对应的线程数对每张表中的数据进行分片得到分片数据;其中所述分片数据的片数与该线程数相同;

为各所述分片数据建立查询关键字,基于各所述分片数据的查询关键字构建各所述分片数据的查询SQL并放入队列中;

所述基于所述每张表对应的线程数调度所述指定数量的线程以读取所述每张表中的数据并写入目标数据库,包括:

基于所述每张表对应的线程数,从所述指定数量的线程中调度与该线程数对应的线程依次从所述队列中获取每张表的各所述分片数据的查询SQL以执行分片数据的查询操作,并将查询结果写入所述目标数据库。

7.根据权利要求6所述的数据库数据迁移方法,其特征在于,各所述分片数据是所述每张表中的部分行数据,各所述分片数据的所述查询关键字是哈希值,该哈希值由所述部分行数据的唯一标识以及预设哈希函数确定;其中,所述唯一标识用以指示行数据在所述源数据库中的物理存储位置。

8.根据权利要求1~7任一项所述的数据库数据迁移方法,其特征在于,还包括:

在所述目标数据库中创建预设约束,所述预设约束被配置为指示所述目标数据库在写入数据时不检查数据完整性;

确定所述源数据库中的数据迁移完之后,更改所述预设约束以启动检查数据完整性。

9.根据权利要求1~7任一项所述的数据库数据迁移方法,其特征在于,在所述目标数据库中写入数据之前,还包括:

获取所述源数据库的编码集,将所述目标数据库的编码集设置为与所述源数据库的编码集一致。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京人大金仓信息技术股份有限公司,未经北京人大金仓信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010774424.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top