[发明专利]数据一致性比对方法、装置、设备及介质

说明书

本发明涉及数据处理技术，揭露一种数据一致性比对方法，包括：对第一数据源及第二数据源执行对等的分块操作，为对等的分块区域分配相同的标识；对相同标识的分块区域对应的第一数据源中的数据及第二数据源中的数据进行数据转换，得到第一转换数据及第二转换数据；比对所述第一转换数据及所述第二转换数据；若所述第一转换数据与所述第二转换数据相同，则相应的分块区域对应的第一数据源中的数据与第二数据源中的数据一致；若所述第一转换数据与所述第二转换数据不同，则相应的分块区域对应的第一数据源中的数据与第二数据源中的数据不一致。本发明还提出一种数据一致性比对装置、设备以及介质。本发明可以提升数据一致性比对方法的效率及普适性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据一致性比对方法、装置、电子设备及计算机可读存储介质。

背景技术

在大数据运营场景中，存在将源存储设备中的数据搬迁或同步到目标存储设备中的数据搬迁或数据同步的应用场景，以及生成源存储设备中的数据的副本数据，将副本数据存储到中间存储设备上的数据备份的应用场景。在数据搬迁、数据同步以及数据备份的过程中，由于网络、服务器或者软件故障，可能会导致源存储设备中的数据与目标存储设备中的数据之间，或者源存储设备中的数据与备份副本数据之间存在部分数据内容不一致或数据丢失的情况。为了防范这种情况的发生，通常需要定时对源存储设备中的数据和目标存储设备中或中间存储设备中的数据进行数据一致性比对操作。

常见的数据一致性比对方法是根据业务场景对源存储设备中的数据进行指定逻辑的数据加工，根据预设的比对算法将源存储设备中加工后的数据与待比较数据进行一致性的比对，输出一致性比对结果。这种数据一致性比对方法存在如下问题：

1、每次比对的数据量比较大，比对计算工作量大，且占用较大的缓存空间，相应的比对效率低；

2、比对算法根据业务场景定制得到，可复用性得不到保证，在新增业务时，需要根据新业务逻辑对老业务逻辑做适应性修改，可维护性、可扩展性差。

发明内容

本发明提供一种数据一致性比对方法、装置及计算机可读存储介质，其主要目的在于提升数据一致性比对方法的效率及普适性。

为实现上述目的，本发明提供的一种数据一致性比对方法，包括：

对第一数据源及第二数据源执行对等的分块操作，得到预设数量的对等的分块区域，为每对所述对等的分块区域分配相同的标识；

分别对相同标识的分块区域对应的第一数据源中的数据及第二数据源中的数据进行数据转换，得到每对所述相同标识对应的第一转换数据及第二转换数据；

从所有所述标识中逐次选取其中一对相同标识作为目标标识，比对所述目标标识对应的第一转换数据及第二转换数据；

若所述目标标识对应的第一转换数据与第二转换数据相同，则所述目标标识对应的第一数据源中的数据与第二数据源中的数据一致；

若所述目标标识对应的第一转换数据与第二转换数据不同，则所述目标标识对应的第一数据源中的数据与第二数据源中的数据不一致。

可选地，所述对第一数据源及第二数据源执行对等的分块操作，得到预设数量的对等的分块区域，包括：

对所述第一数据源及所述第二数据源执行数据对齐操作；

根据预设的分块策略，对数据对齐后的所述第一数据源及所述第二数据源同步执行分块操作，得到预设数量的对等的分块区域。

可选地，所述为每对所述对等的分块区域分配相同的标识，包括：

随机生成第二预设数量的字符串；

为每对所述对等的分块区域分配一个所述字符串，将分配的所述字符串作为对应的每对所述对等的分块区域的标识；