[发明专利]一种数据对比方法及装置

说明书

本发明公开了一种数据对比方法及装置，其中该方法包括：由数据迁移得到的多个数据表中确定出目标数据表，并为每个所述目标数据表生成一个对应的调度线程；利用每个调度线程基于对应目标数据表的行数生成多个子线程；利用每个调度线程将对应目标数据表按行数划分成多个子表，并利用每个目标数据表对应的多个子线程对该目标数据表的多个子表并行进行数据对比操作。本申请公开的技术方案中，对于数据迁移得到的每个目标数据表，生成对应的调度线程，并利用该调度线程生成多个子线程，以利用同一目标数据表的多个子线程对该目标数据表划分得到的多个子表同时进行并行数据对比操作，从而大大提高了数据对比的对比速度。

技术领域

本发明涉及数据迁移技术领域，更具体地说，涉及一种数据对比方法及装置。

背景技术

随着系统的不断发展，原有的旧系统从启用到被新系统取代，在其使用期间往往积累了大量珍贵的历史数据，其中许多历史数据都是新系统顺利启用所必须的，此时则需要将这些历史数据由旧系统中迁移至新系统中。具体来说，数据迁移，就是将这些历史数据进行清洗、转换，并装载到新系统中的过程。数据在迁移完成前后必须保证数据的正确性、完整性。现有技术在这两方面做的都没有问题，但是都存在数据对比的速度缓慢的问题，特别是对于大数据量来说情况更严重。

综上所述，现有技术中用于在数据迁移完成前后实现数据对比的技术方案存在对比速度缓慢的问题。

发明内容

本发明的目的是提供一种数据对比方法及装置，以解决现有技术中用于在数据迁移完成前后实现数据对比的技术方案存在的对比速度缓慢的问题。

为了实现上述目的，本发明提供如下技术方案：

一种数据对比方法，包括：

由数据迁移得到的多个数据表中确定出目标数据表，并为每个所述目标数据表生成一个对应的调度线程；

利用每个调度线程基于对应目标数据表的行数生成多个子线程；

利用每个调度线程将对应目标数据表按行数划分成多个子表，并利用每个目标数据表对应的多个子线程对该目标数据表的多个子表并行进行数据对比操作。

优选的，由数据迁移得到的多个数据表中确定出目标数据表，包括：

获取数据迁移得到的每个数据表的大小，并确定数据表的大小大于预设值的数据表为目标数据表。

优选的，为每个所述目标数据表生成一个对应的调度线程，包括：

在cpu的多个cpu核上生成与每个所述目标数据表对应的调度线程，其中所述cpu核与所述调度线程一一对应。

优选的，利用每个目标数据表对应的多个子线程对该目标数据表的多个子表并行进行数据对比操作，包括：

如果任一所述目标数据表的子表数量大于对应子线程的数量，则在该目标数据表的调度线程接收到任一对应子线程完成数据对比操作的消息后，利用所述调度线程指示该子线程对未被进行过数据对比操作的其他对应子表进行数据对比操作。

优选的，还包括：

如果任一子线程在进行数据对比操作过程中出现错误，则重启该子线程。

一种数据对比装置，包括：

第一生成模块，用于：由数据迁移得到的多个数据表中确定出目标数据表，并为每个所述目标数据表生成一个对应的调度线程；

第二生成模块，用于：利用每个调度线程基于对应目标数据表的行数生成多个子线程；

数据对比模块，用于：利用每个调度线程将对应目标数据表按行数划分成多个子表，并利用每个目标数据表对应的多个子线程对该目标数据表的多个子表并行进行数据对比操作。