[发明专利]数据校验的方法、装置、计算设备和存储介质

说明书

本申请提供了一种数据校验的方法、装置、计算设备和存储介质，属于大数据技术领域。该方法包括：接收校验通知，校验通知包括源数据库的标识和目标数据库的标识，获取源数据库在校验时间段的第一增量数据和目标数据库在校验时间段的第二增量数据，校验时间段为本次校验时间点至上次校验时间点组成的时间段，根据第一增量数据和第二增量数据，确定目标数据库中与源数据库不一致的数据。采用本申请，可以在数据校验时，降低对数据库的处理性能的影响。

技术领域

本申请涉及大数据技术领域，特别涉及一种数据校验的方法、装置、计算设备和存储介质。

背景技术

在大数据时代，数据是企业的核心资产，所以要保证数据的准确性。但是数据在读取、传送和存储过程中可能会出现错误，为了减少和避免数据出现错误，一方面要提高计算机软件和硬件的可靠性，另一发面也要对数据进行数据校验，使得能够快速发现数据错误，甚至定位出错误位置，从而避免因数据错误带来的损失。

相关技术中，是开启源数据库和目标数据库的写入锁，将源数据库中的数据表分块，每个块包括多行数据，将每个块中每一行内所有列转换为字符串进行拼接，计算一个哈希值。然后将每个块内所有行的哈希值做异或得到每个块的哈希值。这个确定每个块的哈希值的过程被封装为一条结构化查询语言(Structured Query Language，SQL)语句，传递到目标数据库执行。在目标数据库按照该SQL语句确定数据表中每个块的哈希值。比较源数据库和目标数据库相同块的哈希值，若相同块的哈希值一致，则确定数据不一致，若相同块的哈希值不一致，则确定数据不一致。在数据校验完成后，解除源数据库和目标数据库的写入锁。

由于在数据校验过程中需要开启源数据库和目标数据库的写入锁，所以会导致数据库在校验过程不能写入数据，进而会导致数据库的处理性能下降。

发明内容

本申请提供了一种数据校验的方法、装置、计算设备和存储介质，用以在数据校验时，降低对数据库的处理性能的影响。

第一方面，本申请提供了一种数据校验的方法，该方法包括：接收校验通知，校验通知包括源数据库的标识和目标数据库的标识，获取源数据库在校验时间段的第一增量数据和目标数据库在校验时间段的第二增量数据，校验时间段为本次校验时间点至上次校验时间点组成的时间段，根据第一增量数据和第二增量数据，确定目标数据库中与源数据库不一致的数据。

本申请所示的方案，数据校验的方法可以由数据校验的装置执行，用户想要对源数据库和目标数据库进行校验，可以向数据校验的装置提交校验通知，校验通知包括源数据库的标识和目标数据库的标识。数据校验的装置接收校验通知，数据校验的装置可以使用源数据库的标识，获取源数据库在校验时间段的第一增量数据，并且使用目标数据库的标识，获取目标数据库在校验时间段的第二增量数据。然后数据校验的装置可以根据第一增量数据和第二增量数据，确定目标数据库中与源数据库不一致的数据。这样，由于直接可以获取到源数据库和目标数据库在校验时间段的增量数据，进行校验，也即实现了对异构数据库同步的增量数据进行一致性校验，所以可以不用锁定数据库就能进行校验，那么可以在不降低数据库处理数据的性能的情况下实现数据校验。

在第一方面的一种可能的实现方式中，获取源数据库在校验时间段的第一增量数据和目标数据库在校验时间段的第二增量数据，包括：根据校验时间段的增量数据的信息，生成目标事务的执行指令，目标事务的执行指令用于指示源数据库根据增量数据的信息确定出第一增量数据，并将目标事务同步至目标数据库执行，使得目标数据库根据增量数据的信息确定出第二增量数据；向源数据库发送目标事务的执行指令；从源数据库获取第一增量数据，从目标数据库获取第二增量数据。