[发明专利]数据迁移方法、设备、存储介质及程序产品

说明书

本申请提供一种数据迁移方法、设备、存储介质及程序产品，通过通过将原数据库中待导出的原数据库表的数据导出，得到第一文件；根据数据库表的容量信息和/或系统性能信息确定迁移策略，并根据迁移策略将第一文件中的数据导入到目标数据库中，形成目标数据库表；将目标数据库的目标数据库表的数据导出，得到第二文件；将第二文件与第一文件进行内容对比，若第二文件与第一文件内容一致，则确定数据迁移成功。通过上述过程能够一键式完成海量数据迁移、检查与核对。不仅能够根据数据库表容量和/或系统性能选择最优导出、导入策略，实现数据高效、准确地导出、导入，减少人工参与，此外还基于文件对比实现数据全量比对，保证海量数据迁移的准确性。

技术领域

本申请涉及数据库技术领域，尤其涉及一种数据迁移方法、设备、存储介质及程序产品。

背景技术

在商业银行信息系统建设中，早期使用的Syabse数据库，无法满足日益增长的高并发、异地灾备等需求，需要迁移至性能更佳的Oracle数据库。而异构数据库、海量数据、字符集差异，均影响数据迁移效率与准确性。

现有技术中，数据迁移通常通过命令行或数据库操作图形界面，采用固定的迁移策略，逐个数据库表进行导出、导入；对于导出、导入过程中的异常数据，往往进行舍弃或手工导入。此外，在数据导入、导出过程中，需要检查与核对，通常采用抽样检查，以某种特定的抽样方式，在原数据库表中抽查出部分数据，根据抽查数据的主键或字段，在新数据库中查询，对比查询结果。

现有的数据迁移方式速度慢、效率低，无法充分利用服务器的I/O、CPU和网络资源，尤其是在海量数据迁移时，数据迁移时间可能长达十多个小时。且数据迁移过程需要较多的人工参与，例如一些参数选择往往是由执行人根据经验主观选择，导致迁移效率下降，并且容易导致命令错误；此外在检查和核对时采用抽样检查存在漏检、漏报的可能，且对于异常数据处理，如无法直接舍弃，则需要人工分析、手工再次执行命令，费时费力且易引起二次错误。

发明内容

本申请提供一种数据迁移方法、设备、存储介质及程序产品，用以自动化实现海量数据迁移、检查和核对，提高效率和准确率。

第一方面，本申请提供一种数据迁移方法，包括：

将原数据库中待导出的原数据库表的数据导出，得到第一文件；

根据所述原数据库表的容量信息和/或系统性能信息确定迁移策略，并根据所述迁移策略将所述第一文件中的数据导入到目标数据库中，形成目标数据库表；

将所述目标数据库的目标数据库表的数据导出，得到第二文件；

将所述第二文件与所述第一文件进行内容对比，若所述第二文件与所述第一文件内容一致，则确定数据迁移成功。

可选的，所述根据所述原数据库表的容量信息和/或系统性能信息确定迁移策略，并根据所述迁移策略将所述第一文件中的数据导入到目标数据库中，包括：

若所述原数据库表的容量不超过预设容量阈值，则确定直接加载参数，并基于所述直接加载参数将所述第一文件中的数据导入到所述目标数据库中；或者

若所述原数据库表的容量超过预设容量阈值，则确定并行加载参数以及并行数，并基于并行数对所述第一文件进行拆分，并基于所述并行加载参数将拆分文件中的数据并行导入到所述目标数据库中。

可选的，所述确定并行加载参数以及并行数，包括：

根据所述原数据库表的容量以及系统性能信息，确定并行加载参数以及并行数，所述系统性能信息包括以下至少一项：CPU性能、I/O性能、网络性能。

可选的，所述方法还包括：

若所述第二文件与所述第一文件内容不一致，则确定不一致的异常数据；