[发明专利]一种数据集合比对方法、装置、计算机设备和存储介质

说明书

本发明涉及一种数据集合比对方法、装置、计算机设备和存储介质，所述方法包括：获取排序后的集合A和集合B，再从集合A中划分出若干个顺序批次；基于集合A和集合B中的每一行数据已预先设定有标识字段，利用当前顺序批次和上一个顺序批次的最大标识字段从集合B中提取出满足条件的当前查询批次；计算当前顺序批次和当前查询批次的哈希特征值分别为BatHash和BatHash'；在判断BatHash＝BatHash'后，确定当前顺序批次和当前查询批次的内容一致；或在判断BatHash≠BatHash'后，对当前顺序批次和当前查询批次进行对应行列数据的比对。上述方法能够快速验证排序后的数据集合在发生迁移后的准确性。

技术领域

本发明涉及数据应用技术领域，特别是涉及一种数据集合比对方法、装置、计算机设备和存储介质。

背景技术

目前已广泛存在应用于文本文件上的比对技术，然而随着大数据的兴起，针对私有环境数据库的迁移或者升级、数据上云或者下云、网络报文核实、交易日志验证等应用领域，其交互的基本是由复杂数据结构所形成的有序集合，该比对技术显然无法进一步解决数据集合的比对难题。

发明内容

本发明的目的在于克服现有技术的不足，提供了一种数据集合比对方法、装置、计算机设备和存储介质，能够快速验证排序后的数据集合在发生迁移后的准确性。

为了解决上述中至少一个技术问题，本发明实施例提供了一种数据集合比对方法，所述方法包括：

获取排序后的集合A和集合B，按照固定行读取标准从所述集合A中划分出若干个顺序批次；

基于所述集合A和所述集合B中的每一行数据已预先设定有标识字段，利用当前顺序批次和上一个顺序批次的最大标识字段从所述集合B中提取出满足条件的当前查询批次；

计算所述当前顺序批次的哈希特征值BatHash以及所述当前查询批次的哈希特征值BatHash'；

在判断BatHash＝BatHash'之后，直接确定所述当前顺序批次和所述当前查询批次的内容一致；或者，

在判断BatHash≠BatHash'之后，对所述当前顺序批次和所述当前查询批次进行对应行列数据的比对。

优选地，所述按照固定行读取标准从所述集合A中划分出若干个顺序批次包括：

从所述集合A的第一行数据开始，按序且不重复地读取K行数据构成一个顺序批次，以此类推直至读取完最后一行数据以得到若干个顺序批次。

优选地，所述利用当前顺序批次和上一个顺序批次的最大标识字段从所述集合B中提取出满足条件的当前查询批次包括：

获取当前顺序批次中的最大标识字段MaxKey以及上一个顺序批次中的最大标识字段PrevMaxKey，从所述集合B中筛选出满足对应标识字段落在(PrevMaxKey，MaxKey]范围内的若干行数据，构成当前查询批次。

优选地，所述计算所述当前顺序批次的哈希特征值BatHash以及所述当前查询批次的哈希特征值BatHash'包括：

计算所述当前顺序批次中每一行数据所对应的第一特征值，再将所有第一特征值进行求和，得到所述当前顺序批次的哈希特征值BatHash；

计算所述当前查询批次中每一行数据所对应的第二特征值，再将所有第二特征值进行求和，得到所述当前查询批次的哈希特征值BatHash'。

优选地，所述对所述当前顺序批次和所述当前查询批次进行对应行列数据的比对包括：

从i＝1开始，选择所述当前顺序批次中的第i行数据；

从j＝1开始，选择所述当前查询批次中的第j行数据；