[发明专利]一种基于默克尔树的数据对比方法、设备及介质

说明书

本申请公开了一种基于默克尔树的数据对比方法、设备及介质，方法包括：确定待对比的第一数据源和第二数据源，第一数据源与第二数据源中的数据是一一对应的；使用相同的切分方法分别对第一数据源与第二数据源进行切割，得到第一数据块与第二数据块，第一数据块与第二数据块数量相同；获取数据对比任务的精度要求、第一数据源及第二数据源的大小、服务器性能，确定默克尔树的构造数量；使用相同的构造方法分别处理第一数据块与第二数据块，得到第一默克尔树组与第二默克尔树组，第一默克尔树组与第二默克尔树组内默克尔树的数量相同；根据第一默克尔树组与第二默克尔树组，确定第一数据源与第二数据源是否一致。

技术领域

本申请涉及数据对比领域，具体涉及一种基于默克尔树的数据对比方法、设备及介质。

背景技术

在产业数字化的进程中，数据的传输、同步、对比是一类不可或缺的操作，在进行数据库同步、迁移，区块链账本同步等相关操作时，一致性对比是保障数据传输、同步等过程有效的必要步骤。

如果直接对数据整体计算哈希值进行对比，那么如果数据不一致时难以对数据不一致的具体位置进行定位，重新传输整个数据需要耗费巨大成本，传统的数据对比方法通常对数据进行切块，然后进行对比，这一方法在对数据正确性进行验证和对数据不一致位置进行定位的过程中，需要耗费较大的时间成本，必须对每一块的数据哈希值进行两两对比后才能确定是否所有数据都准确无误。

比特币的出现提出了一种新的数据对比方式，即使用默克尔树进行数据对比。使用默克尔数进行对比虽然节省了对比消耗的运算量，但是为了储存整棵默克尔树，与传统方法相比需要消耗更多的存储空间同时对于数据传输进行一致性对比时，无法边传输边对比，必须等整个文件都传输完成后再进行对比。

因此，亟需一种对于大批量的数据进行高效的数据一致性对比方法。

发明内容

为了解决上述问题，本申请提出了一种基于默克尔树的数据对比方法，包括：

确定待对比的第一数据源和第二数据源，所述第一数据源与所述第二数据源中的数据是一一对应的；使用相同的切分方法分别对所述第一数据源与所述第二数据源进行切割，得到第一数据块与第二数据块，所述第一数据块与所述第二数据块数量相同；获取数据对比任务的精度要求、所述第一数据源及所述第二数据源的大小、服务器性能，确定默克尔树的构造数量；使用相同的构造方法分别处理所述第一数据块与所述第二数据块，得到第一默克尔树组与第二默克尔树组，所述第一默克尔树组与所述第二默克尔树组内默克尔树的数量相同；根据所述第一默克尔树组与所述第二默克尔树组，确定所述第一数据源与所述第二数据源是否一致。

在一个示例中，使用相同的切分方法分别对所述第一数据源与所述第二数据源进行切割，具体包括：按照数据的条数对所述第一数据源与所述第二数据源进行切割，将若干条数据作为一个数据块。

在一个示例中，所述方法还包括：确定所述服务器的剩余存储空间，根据所述剩余存储空间调整所述默克尔树的构造数量，以平衡所述数据对比任务消耗的时间复杂度和空间复杂度。

在一个示例中，使用相同的构造方法分别处理所述第一数据块与所述第二数据块，得到第一默克尔树组与第二默克尔树组，具体包括：确定所述默克尔树的构造数量，确定每棵默克尔树对应的所述数据块，获取所述数据块中的若干条所述数据；计算所述若干条数据中每条数据的哈希值；根据所述每条数据的哈希值，生成所述第一默克尔树组与所述第二默克尔树组。

在一个示例中，所述根据所述第一默克尔树组与所述第二默克尔树组，确定所述第一数据源与所述第二数据源是否一致，具体包括：按照构造顺序，确定与所述第一默克尔树组中的默克尔树对应的所述第二默克尔树组中的默克尔树；确定所述第一默克尔树组中的默克尔树的根哈希值、所述第二默克尔树组中对应的默克尔树的根哈希值；若所述第一默克尔树组中的默克尔树的根哈希值与所述第二默克尔树组中对应的默克尔树的根哈希值一致，则所述第一默克尔树组中的默克尔树对应的数据与所述第二默克尔树组中对应的默克尔树对应的数据相同。