[发明专利]一种数据集合比对方法、装置、计算机设备和存储介质

权利要求书

1.一种数据集合比对方法，其特征在于，所述方法包括：

获取排序后的集合A和集合B，按照固定行读取标准从所述集合A中划分出若干个顺序批次；

基于所述集合A和所述集合B中的每一行数据已预先设定有标识字段，利用当前顺序批次和上一个顺序批次的最大标识字段从所述集合B中提取出满足条件的当前查询批次；

计算所述当前顺序批次的哈希特征值BatHash以及所述当前查询批次的哈希特征值BatHash'；

在判断BatHash＝BatHash'之后，直接确定所述当前顺序批次和所述当前查询批次的内容一致；或者，

在判断BatHash≠BatHash'之后，对所述当前顺序批次和所述当前查询批次进行对应行列数据的比对。

2.根据权利要求1所述的数据集合比对方法，其特征在于，所述按照固定行读取标准从所述集合A中划分出若干个顺序批次包括：

从所述集合A的第一行数据开始，按序且不重复地读取K行数据构成一个顺序批次，以此类推直至读取完最后一行数据以得到若干个顺序批次。

3.根据权利要求1所述的数据集合比对方法，其特征在于，所述利用当前顺序批次和上一个顺序批次的最大标识字段从所述集合B中提取出满足条件的当前查询批次包括：

获取当前顺序批次中的最大标识字段MaxKey以及上一个顺序批次中的最大标识字段PrevMaxKey，从所述集合B中筛选出满足对应标识字段落在(PrevMaxKey，MaxKey]范围内的若干行数据，构成当前查询批次。

4.根据权利要求1所述的数据集合比对方法，其特征在于，所述计算所述当前顺序批次的哈希特征值BatHash以及所述当前查询批次的哈希特征值BatHash'包括：

计算所述当前顺序批次中每一行数据所对应的第一特征值，再将所有第一特征值进行求和，得到所述当前顺序批次的哈希特征值BatHash；

计算所述当前查询批次中每一行数据所对应的第二特征值，再将所有第二特征值进行求和，得到所述当前查询批次的哈希特征值BatHash'。

5.根据权利要求1所述的数据集合比对方法，其特征在于，所述对所述当前顺序批次和所述当前查询批次进行对应行列数据的比对包括：

从i＝1开始，选择所述当前顺序批次中的第i行数据；

从j＝1开始，选择所述当前查询批次中的第j行数据；

当第i行数据内的标识字段小于第j行数据内的标识字段时，将第i行数据记录到系统设定的缺失集合中，随后将i+1赋值给i再返回执行下一行数据的选择；或者，

当第i行数据内的标识字段大于第j行数据内的标识字段时，将第j行数据记录到系统设定的幽灵集合中，随后将j+1赋值给j再返回执行下一行数据的选择；或者，

当第i行数据内的标识字段与第j行数据内的标识字段相同时，判断第i行数据所对应的第一特征值HRow_i是否与第j行数据所对应的第二特征值HRow'_j相同；

若是，则将i+1赋值给i以及将j+1赋值给j，再返回执行下一行数据的选择与特征值判断；

若否，则对第i行数据和第j行数据进行列数据比对；

若是i先到达顺序批次结束，则将从当前第j行到查询批次结束的数据记录到幽灵集合中；

若是j先到查询批次结束，则将从当前第i行到顺序批次结束的数据记录到缺失集合中。

6.根据权利要求5所述的数据集合比对方法，其特征在于，所述对第i行数据和第j行数据进行列数据比对包括：

基于所述当前顺序批次中每一行数据的列数量和列排序均相同，从m＝1开始读取第i行数据中的第m列数据并记录为Col[m]以及读取第j行数据中的第m列数据并记录为Col[m]'；

在识别到Col[m]≠Col[m]'之后，将Col[m]和Col[m]'记录到系统针对第i行数据所设定的列差异集合中，随后将m+1赋值给m再返回执行下一列数据的内容比对。