[发明专利]一种数据一致性比对方法和装置

说明书

本发明涉及计算机技术领域，提供了一种数据一致性比对方法和装置。其中所述方法包括将第一数据副本与对应的第一历史数据副本进行比对，得到第一修改记录集；将第二数据副本与对应的第二历史数据副本进行比对，得到第二修改记录集；根据历史比对结果、第一修改记录集和第二修改记录集，得到第一数据副本与第二数据副本之间的数据比对结果。本发明在将数据副本与自身的历史数据副本进行比对时能够将不修改的数据直接过滤，使其在后续的比对过程中不占用资源，降低数据一致性比对的资源占用，提高比对效率。

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据一致性比对方法和装置。

背景技术

随着信息化建设的高速发展，业务越来越复杂，各个业务之间的耦合性也越来越强。常常会出现不同的业务需要访问同一份数据，在这种情况下，被各个业务访问的数据也就成了热点数据，数据访问的竞争会使得一些业务处于等待状态，导致业务性能的下降。为解决这个问题，通常的处理方法是将这份数据做成多个副本，每个业务访问不同的数据副本，并定期对数据副本进行数据同步，以确保各业务之间所使用数据的一致性。通常，在对大批量的数据进行数据同步时，由于直接进行数据同步通常需耗费大量的资源，故先对数据进行数据一致性判断，并只针对不一致的数据进行数据同步，在这种情况下，各个副本的数据一致性显得尤为重要。

数据比对是数据一致性检查的一项重要手段。现有技术中所采用的技术手段是，使用副本中的数据直接比对，如对副本A，副本B进行数据比对通常分为三个步骤：1.获取副本A中的数据，以行为单位，计算行数据的MD5值；2.获取副本B的数据，以行为单位，计算数据的MD5值；3.比较副本A与副本B中，MD5的差异，如MD5存在差异，则副本A及副本B中存在数据不一致。

上述数据比对方法，当表数据数据量大，且需要重复比较时，存在较多的无效比对。例如，当系统中，需要每天定时对副本A，副本B进行比对时，每次都是全量比对，如果副本中的数据量较大，则耗时较长。同时，在进行数据的大批量存储管理时，各业务并非需对每一条数据进行更改，更多情况下，随着时间的累积，会形成大量静态数据，这部分数据被修改的可能性非常小，可能占到总数据量的50％或更多。如在随时间累积的数据存储中，在经过一定的时间周期后，通常不会再对历史数据进行更改，如针对几月前或几年前的数据不再更改，在此情况下，在进行全量数据比对时，很大一部分时间是耗费在历史数据的比对中，其不仅降低了数据一致性比对的效率，还占用了大量资源。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

发明内容

本发明要解决的技术问题是现有的数据一致性比对方法耗费大量资源在不进行修改的历史数据比对上，占用资源大，效率低。

第一方面，本发明提供了一种数据一致性比对方法，包括：

将第一数据副本与对应的第一历史数据副本进行比对，得到第一修改记录集；

将第二数据副本与对应的第二历史数据副本进行比对，得到第二修改记录集；

根据历史比对结果、第一修改记录集和第二修改记录集，得到第一数据副本与第二数据副本之间的数据比对结果；

其中，以上一次进行比对时所使用的数据副本作为下一次比对时的历史数据副本，以上一次进行比对得到的数据比对结果作为下一次比对时的历史比对结果，在第一次进行比对时，将第一数据副本与第二数据副本进行比对，得到数据比对结果。

优选的，所述将第一数据副本与第二数据副本进行比对，得到数据比对结果，得到数据比对结果，具体包括：

将第一数据副本中的第一分组与第二数据副本中的第二分组进行比对；