[发明专利]一种大数据冗余检测方法

摘要

本发明公开了一种大数据冗余检测方法，该方法首先进行全文件哈希值检测，判断文件是否是冗余数据，然后在文件中随机选择一个定长数据块，对该数据块进行扩展，再判断扩展后的数据块是否是冗余数据，最后对文件剩余的数据块再进行检测。本发明所述的大数据冗余检测方法不仅能够在大数据系统中快速查找到冗余数据，并且对于可能出现的相似文件，能有效的降低数据匹配的粒度，可以尽可能的找到相似文件中的冗余数据块。

主权项

1.一种大数据冗余检测方法，其特征在于，该方法包括如下步骤：1）在大数据系统的数据库内建立所有文件的哈希值表FH_table以及各个数据块的哈希值表BH_table；2）当大数据系统需要存储一个新文件时，计算该文件的哈希值，同时检查FH_table里是否存储有该文件的哈希值，如果有，则确认该文件是冗余数据，方法结束；如果没有，则在FH_table中记录该文件的哈希值；3）将该文件作为一个数据单元加入数据检测集合，该数据检测集合是待检测的数据单元的集合；4）判断该数据检测集合是否为空集，如果是，则方法结束，如果不是，继续执行后续步骤；5）从数据检测集合中取出一个数据单元，计算该数据单元的哈希值，检测BH_table和FH_table里是否有该数据单元的哈希值，如果有，则确认该数据单元是冗余数据，并返回步骤4；如果没有，则继续后续步骤；6）判断该数据单元的大小是否小于Blocksize，所述Blocksize是一个预定义的阈值，如果小于，则存储该数据单元，并将该数据单元的哈希值记录在BH_table中，同时返回步骤4，否则继续后续步骤；7）设该数据单元的大小为L字节，随机生成一个自然数R，使得其满足1≤R≤L‑Blocksize+1；从而在该数据单元中确定一个定长数据块，该定长数据块包括该数据单元的第R个字节到第R+Blocksize‑1个字节；8）对该数据块在数据单元中的位置进行扩展，获得一个不定长数据块；9）计算所述不定长数据块的哈希值，判断该不定长数据块的哈希值是否记录在BH_table或FH_table中，如果是，则该不定长数据块是冗余数据；如果不是，则存储该不定长数据块，并将其哈希值记录在BH_table中；10）将所述数据单元去除该不定长数据块后，所剩下的每个数据块都作为一个数据单元加入数据检测集合，并返回步骤4。