[发明专利]无索引表格数据比对方法、装置、计算机设备及存储介质

说明书

本发明实施例公开了无索引表格数据比对方法、装置、计算机设备及存储介质。所述方法包括：配置比对计划；根据所述比对计划查询数据库表格元数据，确定每张表格参与比对的字段列表；抽取所述表格元数据，并存储于内存内；对所述内存内的每一行数据生成指纹，并存储于设定存储介质内；对所述设定存储介质内的指纹进行排序，以得到排序结果；获取所述排序结果内的指纹并进行比对，以得到比对结果。通过实施本发明实施例的方法实现可比对异构数据库无索引表格的数据，效率高，且准确率高。

技术领域

本发明涉及数据比对方法，更具体地说是指无索引表格数据比对方法、装置、计算机设备及存储介质。

背景技术

针对当前社会上不同数据库之间的数据同步，由于网络异常以及一些非人为可控的异常情况下，造成的数据不一致，及时发现数据的不一致是一个迫切需要解决的问题。

在当前的数据比对方法中，都是在同一种类型的数据库基础上，基于两边都存在着一样可排序的字段，基于可排序的字段进行数据比对，优先根据索引字段比较，索引字段一致再比对剩余属性字段；但是该方法有着明显的缺点，一是必须基于有索引字段的表格才能排序比对，对于无索引表的比对，该方法并不能适用；二是索引字段比对，必须是同一种数据库类型，不同数据库同一种类型的字段，由于精度的不同，比对结果会存在很大差异；三是同一个索引字段，但是由于数据库的字符集不一致，比对数据可能会存在乱码，从而严重影响比对结果的正确性；四是如果表格存在大量的字段，在比完索引字段后，比较剩余字段时，需要逐个字段比对，会消耗大量的时间，对比对的整体效率有很大影响。

因此，有必要设计一种新的方法，实现可比对异构数据库无索引表格的数据，效率高，且准确率高。

发明内容

本发明的目的在于克服现有技术的缺陷，提供无索引表格数据比对方法、装置、计算机设备及存储介质。

为实现上述目的，本发明采用以下技术方案：无索引表格数据比对方法，包括：

配置比对计划；

根据所述比对计划查询数据库表格元数据，确定每张表格参与比对的字段列表；

抽取所述表格元数据，并存储于内存内；

对所述内存内的每一行数据生成指纹，并存储于设定存储介质内；

对所述设定存储介质内的指纹进行排序，以得到排序结果；

获取所述排序结果内的指纹并进行比对，以得到比对结果。

其进一步技术方案为：所述比对计划包括数据库连接信息、数据比对的表格级别以及表格字段的映射关系，数据比对的表格级别包括数据库级别、用户级别以及表格级别。

其进一步技术方案为：所述根据所述比对计划查询数据库表格元数据，确定每张表格参与比对的字段列表，包括：

根据数据库连接信息获取数据库字典；

根据所述数据库字典获取相应表格的元数据；

根据表格字段的映射关系以及相应表格的元数据生成需要比对的字段列表以及映射关系，以得到每张表格参与比对的字段列表。

其进一步技术方案为：所述对所述内存内的每一行数据生成指纹，并存储于设定存储介质内，包括：

将对所述内存内的不同数据库的同一类型数据进行归一化，以得到归一化结果；

根据指纹算法对所述归一化结果进行计算，生成指纹；

将所述元数据以及指纹存入设定存储介质中。

其进一步技术方案为：所述对所述设定存储介质内的指纹进行排序，以得到排序结果，包括：

获取所述设定存储介质内的每个表格对应的文件列表；