[发明专利]一种实现重复数据数据删除的方法和系统

权利要求书

1.一种实现重复数据数据删除的方法，其特征在于，主要步骤包括：

通过simhash(相似性哈希)算法计算数据的相似度；

通过相似度定位存储位置，把相似度计入索引库；

把数据写入数据仓库；

如果有相同的相似度的数据进来的话，把数据仓库中对应的数据提取出来，然后进行二进制比对；

如果相同则记录索引，如果不同则记录不同的数据部分。

2.根据权利要求1所述的方法，其特征在于，所述方法按照一定的格式记录数据结构，通过数据指纹加数据对比的方式实现数据的准确性和一致性。

3.根据权利要求1所述的方法，其特征在于，所述方法基于相似性哈希算法理论，利用二进制数据对比保证数据一致性。

4.一种实现重复数据数据删除的系统，其特征在于，所述系统包括：相似度标示库(BitMap)、数据偏移的标示库和数据仓库(LBAMap)，记录原始数据的存储库(Resp)。其中：

所述相似度标示库，用来标示相似度的值是否存在，所有的相似度的值都可以在bitmap中找到一个固定的标示位，如果该标示位为1，则表示有同样相似度的数据出现过，可以进行数据缩减；

所述数据偏移的标示库，用来表示数据在仓库(resp)中的偏移，LBAMap中记录的LBA和BitMap中标示位相对应；

所述数据仓库，记录原始数据的存储库，其地址偏移在LBAMap中记录。

5.根据权利要求4所述的系统，其特征在于，所述相似度标示库中的数据标示，通过二维座标定位，可以快速的进行相似度定位验证。

6.根据权利要求4所述的系统，其特征在于，所述数据偏移的标示库中的相似度数据偏移定位也是通过二维坐标定位，可以迅速的找到相似度对应的数据偏移。

7.根据权利要求4所述的系统，其特征在于，所述数据仓库，记录原始数据的存储库中的数据按照数据源特征，顺序写入，这样在读取的时可以保证数据顺序读取，保证了系统的性能。