[发明专利]一种基于Merkle Tree变形算法的去重方法及装置

摘要

本发明实施例提供一种基于Merkle Tree变形算法的去重方法及装置，包括：对第一数据进行分块并计算每一个分块的哈希值，每一个分块设置引用计数；将第一分块的哈希值和第一哈希子树与预先建立好的第一哈希树进行对比：若第一分块的哈希值、内容和第一哈希树中的第一哈希值、内容相同，且第一哈希子树的根节点与第一哈希树中的第二哈希值相同时，则每一个分块的引用计数加1；若第一哈希子树的根节点与第一哈希树中的第二哈希值不同时，则将第一分块的引用计数加1，并将第一分块删除，得到第二数据，对第二数据执行上述操作，直到第二数据为最后一个分块时结束。本发明提供的实施例在保证去重率的前提下，可以提高去重效率，减少去重时间。

主权项

1.一种基于Merkle Tree变形算法的去重方法，其特征在于，包括：S1：对第一数据进行分块并计算每一个分块的哈希值，每一个分块设置引用计数；S2：取出第一分块的哈希值，并建立所述第一数据的每个分块的哈希值的第一哈希子树；S3：将所述第一分块的哈希值和所述第一哈希子树与预先建立好的第一哈希树进行对比：若所述第一分块的哈希值与预先建立好的第一哈希树中的第一哈希值相同，且所述第一分块的内容和所述第一哈希值相同的块的内容相同，且所述第一哈希子树的根节点与所述第一哈希树中的第二哈希值相同，则所述每一个分块的所述引用计数加1；若所述第一分块的哈希值与预先建立好的第一哈希树中的第一哈希值相同，且所述第一分块的内容和所述第一哈希值相同的块的内容相同，且所述第一哈希子树的根节点与所述第一哈希树中的第二哈希值不同，则将所述第一分块的引用计数加1，并将所述第一分块删除，得到第二数据；S4：对所述第二数据重复S2‑S3的步骤，直到所述第二数据为最后一个分块时结束。