[发明专利]数据库数据迁移方法、装置、介质和电子设备

说明书

本公开涉及数据库技术领域，具体涉及一种数据库数据迁移方法、数据库数据迁移装置以及计算机可读存储介质和电子设备，其中所述方法包括：确定源数据库中每张表的第一数据量；确定线程单次读取的第二数据量；所述第二数据量与计算机资源相关；基于所述第二数据量以及所述每张表的第一数据量，确定所述每张表的数据迁移完所需的线程数；控制启动指定数量的线程，基于所述每张表对应的线程数调度所述指定数量的线程以读取所述每张表中的数据并写入目标数据库。本公开的实施方案可以提高数据库数据迁移效率。

技术领域

本公开实施例涉及数据库技术领域，尤其涉及一种数据库数据迁 移方法、数据库数据迁移装置，以及实现所述数据库数据迁移方法的 计算机可读存储介质和电子设备。

背景技术

数据库(Database)通常按照数据结构来组织，用于存储和管理数据， 如关系型数据库管理系统Oracle、支持对可扩展标记语言XML格式文 档进行存储和查询等操作的XML数据库等等。

随着信息技术的发展，数据库往往会涉及数据的迁移，例如将数 据从一个数据库迁移到另一数据库中。目前相关技术中，数据迁移包 括如下的技术手段：通过数据迁移工具进行迁移，这种数据迁移方法 是迁移工具通过查询源数据库数据并将数据保存在内存或文件中，然 后通过命令复制的方式将内存或文件中的数据插入到目标数据库中。

但是，这种方式存在一些问题，通常这种方式中一个线程读取一 张表，在数据库中每张表的数据量不确定的情况下，多线程分配不合 理，无法较为合理平衡地利用计算机资源等，导致对于存在大数据量、 表约束较多的数据库，数据迁移效率依然偏低。另外，在读取源数据 库与写入目标数据库时，迁移工具中存在转码的情况，很难甚至无法 保证迁移数据的正确性。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公 开实施例提供了一种数据库数据迁移方法、数据库数据迁移装置，以 及实现所述数据库数据迁移方法的计算机可读存储介质和电子设备。

第一方面，本公开实施例提供了一种数据库数据迁移方法，包括：

确定源数据库中每张表的第一数据量；

确定线程单次读取的第二数据量；所述第二数据量与计算机资源 相关；

基于所述第二数据量以及所述每张表的第一数据量，确定所述每 张表的数据迁移完所需的线程数；

控制启动指定数量的线程，基于所述每张表对应的线程数调度所 述指定数量的线程以读取所述每张表中的数据并写入目标数据库。

在本公开的一些实施例中，所述源数据库包括数据库统计信息， 所述数据库统计信息包含每张表的数据量；所述确定源数据库中每张 表的第一数据量，包括：

获取所述源数据库中的所述数据库统计信息；

基于所述数据库统计信息确定所述源数据库中每张表的第一数据 量。

在本公开的一些实施例中，所述计算机资源包括CPU资源、I/O 资源和内存资源中的至少一个；和/或，所述指定数量与CPU核数相关， 且该指定数量小于等于CPU核数的两倍值；所述确定线程单次读取的 第二数据量，包括：

基于所述CPU资源、I/O资源和内存资源中的至少一个确定线程 单次读取的第二数据量。

在本公开的一些实施例中，所述基于所述第二数据量以及所述每 张表的第一数据量，确定所述每张表的数据迁移完所需的线程数，包 括：

确定所述第二数据量是否大于所述每张表的第一数据量；

确定所述第二数据量大于所述每张表的第一数据量时，所述每张 表对应的线程数是第一数值；