[发明专利]异构数据库迁移及数据比对方法、装置、设备和存储介质

说明书

本发明公开了一种异构数据库迁移及数据比对方法、装置、设备和存储介质。该方法包括：创建多级线程池，所述多级线程池包括父级线程池和子级线程池；在所述父级线程池执行任务，根据分库分表策略，将第一数据库中的待导出数据进行分析，得到拆分条件和数据特征，并生成子任务；在所述子级线程池执行所述子任务，根据所述拆分条件，将所述第一数据库的待导出数据导出；将导出的数据进行转码，并导入对应的第二数据库中；采用余弦相似度算法，将所述第一数据库导出的数据和所述第二数据库导入的数据进行对比和校正。与现有技术相比，本发明实施例解决了数据库迁移无法兼顾效率和成本的问题，以及解决了数据比对无法兼顾效率和数据迁移质量的问题。

技术领域

本发明涉及大数据技术领域，尤其涉及一种异构数据库迁移及数据比对方法、装置、设备和存储介质。

背景技术

随着业务发展及技术栈转型的现状，商业银行等企业面临异构数据库(非同种数据库)之间进行数据迁移的需求。其中，由于商业银行对客户的各类数据具有强依赖性，迁移前后数据需要具有较强的一致性。基于此，设计异构数据库数据迁移及效率较高的数据一致性比对机制，方便银行系统进行数据迁移，并且保证迁移前后数据具备较强的一致性尤为重要。

在现有技术中，数据库迁移的方法有两种，一种是系统部署于hadoop集群上，该方法规模较大，成本代价较高，在非海量数据迁移时，会造成资源浪费；另一种是单表导入导出作为单个任务节点；该方法无法实现单表导入导出并行，在单表数据量级大时，效率无法提升。迁移前后数据比对方法有两大类，一类是数据行数比对的方法，该方法比对粗略，容易忽略某些异常情况；另一类是逐条对比的方法，该方法效率低。

发明内容

本发明提供了一种异构数据库迁移及数据比对方法、装置、设备和存储介质，以解决数据库迁移无法兼顾效率和成本的问题，以及解决数据比对无法兼顾效率和数据迁移质量的问题。

根据本发明的一方面，提供了一种异构数据库迁移及数据比对方法，包括：

创建多级线程池，所述多级线程池包括父级线程池和子级线程池；

在所述父级线程池执行任务，根据分库分表策略，将第一数据库中的待导出数据进行分析，得到拆分条件和数据特征，并生成子任务；

在所述子级线程池执行所述子任务，根据所述拆分条件，将所述第一数据库的待导出数据导出；

将导出的数据进行转码，并导入对应的第二数据库中；

采用余弦相似度算法，将所述第一数据库导出的数据和所述第二数据库导入的数据进行对比和校正。

根据本发明的另一方面，提供了一种异构数据库迁移及数据比对装置，包括：

线程池创建模块，用于创建多级线程池，所述多级线程池包括父级线程池和子级线程池；

子任务生成模块，用于在所述父级线程池执行任务，根据分库分表策略，将第一数据中的待导出数据进行分析，得到拆分条件和数据特征，并生成子任务；

数据拆分导出模块，用于在所述子级线程池执行所述子任务，根据所述拆分条件，将所述第一数据库的待导出数据导出；

数据导入模块，用于将导出的数据进行转码，并导入对应的第二数据库中；

数据比对及校正模块，用于采用余弦相似度算法，将所述第一数据库导出的数据和所述第二数据库导入的数据进行对比和校正。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，