[发明专利]大表流式并行高速数据比对方法

说明书

本发明公开了一种大表流式并行高速数据比对方法，包括如下步骤：(1‑1)比对应用程序通过数据库链接配置待比对的主数据库表信息和备数据库表的信息，如果主数据库表信息和备数据库表信息结构不一致，返回无法比对；(1‑2)比较主数据库表信息和备数据库表的索引字段，获取最小值min和最大值max，用于比对开始与结束标记；并设置并行比对通道数N，N动态生成，用于并行处理；(1‑3)将主备数据库表的记录按索引字段递增排序，并将排序结果按并行比对通道数N进行分块，且各个通道分别流式读取数据，存于缓存中；(1‑4)在各个通道中并行处理数据比对，记录比对结果。本发明具有提高了数据比对速度的特点。

技术领域

本发明涉及数据库技术领域，尤其是涉及一种能够充分利用硬件资源进行数据比对，提高了数据比对速度的大表流式并行高速数据比对方法。

背景技术

现有技术中的数据库表比对方案主要有：

将主备数据库表数据导成表格文件，再运用比较工具进行比对，该方法简单明了，但是对于海量数据无法进行比对。

利用算法技术进行比对，将主备端数据导入内存，并采用各种查找算法进行比对；该方法的优点是比对速度快，缺点是依赖于算法，并没有利用现有软硬件资源，实用性不强。

将主备端数据导入到第三方数据库，执行SQL脚本，然后对执行结果进行差异分析。该方法采用逻辑运算，程序简单，缺点是实时性差，操作复杂，并依赖于第三方数据库，价格昂贵。

基于多表的数据库并行比对；这种并行方式不能对单张大表提供性能优化支持。

发明内容

本发明的发明目的是为了克服现有技术中的数据库表比对方法实用性不强，实时性差，操作复杂，价格昂贵的不足，提供了一种能够充分利用硬件资源进行数据比对，提高了数据比对速度的大表流式并行高速数据比对方法。

为了实现上述目的，本发明采用以下技术方案：

一种大表流式并行高速数据比对方法，包括如下步骤：

(1-1)比对应用程序通过数据库链接配置待比对的主数据库表信息和备数据库表的信息，如果主数据库表信息和备数据库表信息结构不一致，返回无法比对；

(1-2)比较主数据库表信息和备数据库表的索引字段，获取最小值min和最大值max，用于比对开始与结束标记；并设置并行比对通道数N，N动态生成，用于并行处理；

(1-3)将主备数据库表的记录按索引字段递增排序，并将排序结果按并行比对通道数N进行分块，且各个通道分别流式读取数据，存于缓存中；

(1-4)在各个通道中并行处理数据比对，记录比对结果。

本发明克服现有数据比对方法的实用性不强，实时性差，操作复杂，价格昂贵，操作复杂的不足，能够在充分利用硬件资源进行数据比对的同时提高数据比对速度，实用性强，实时性好，操作简单，价格便宜，操作简单。

作为优选，所述主数据库表信息和备数据库表的信息均包括参与比对的主备数据库对应的表名称，字段名称及对应字段类型。

作为优选，并行比对通道数N根据实际数据比对的速度动态确定，取每秒比对表记录行数最多时的比对通道个数。

作为优选，1≤N≤5。

作为优选，并行处理将比对数据分多个通道同时比较，每个通道是独立的个体，平行独立线程运行，各个通道之间通过缓存进行联系；在并行处理过程中，当一个通道或多个通道已经比对完成，将其它未完成比对的通道数据块拆分给多个通道，保持同时比对的通道数为N，缓解通道压力，保证比对速度。