[发明专利]一种实现重复数据数据删除的方法和系统

说明书

技术领域

本发明涉及计算机存储技术领，尤其涉及一种实现重复数据数据删除的方法和系统。

背景技术

企业的关键业务数据每天都会做数据备份。按根据备份策略的定制，可以每天做增量备份，每周做全备份。大但随着大量数据的累计，大量数据是重复的，而重复数据又导致了数据量以几何级数增长。举例老说，某个ERP系统初始数据量为100TB，每天增加10TB，一周6天做增量备份，周末做全备份，一周备份数据就达到160TB。但使用重复数据删除技术(Data Deduplication)，100TB的初始数据不用重复做备份，进一步发现每天10TB增量数据，可以压缩到1TB，因此每周7天备份只增加7TB，数据量比传统备份大大减少。

由于数据的爆炸式增长每天都困扰着企业级企业，在解决这个问题上，重复数据删除是一项最具前景的技术。国内外存储厂商都在努力开发基于重复数据删除技术的产品。总结目前国外厂商实现重复数据删除的方法，主要有三种，第一种是基于散列的方法，比如Data Domain、飞康、昆腾的DXi系列设备都是采用SHA-1，MD-5等类似的算法将这些进行备份的数据流断成块并且为每个数据块生成一个散列(hash)。如果新数据块的散列(hash)与备份设备上散列索引中的一个散列匹配，表明该数据已经被备份，设备只更新它的表，以说明在这个新位置上也存在该数据。该方法存在内置的可扩展性的问题。第二种方法是基于内容识别的重复删除，这种方法主要是识别记录的数据格式。它采用内嵌在备份数据中的文件系统的元数据识别文件；然后与其数据存储库中的其它版本进行逐字节地比较，找到该版本与第一个已存储的版本的不同之处并为这些不同的数据创建一个增量文件。该方法的缺点是需要使用支持的备份应用设备以便设备可以提取元数据。第三种方法是Diligent Technologies用于其ProtecTier VTL的技术，它像基于散列(hash)的产品那样将数据分成块，并且采用自有的算法决定给定的数据块是否与其它的相似。然后与相似块中的数据进行逐字节的比较，以判断该数据块是否已经被备份。国外各大存储厂商只所以采用不同的方法，主要目的是结合厂商自己生产的硬件存储设备。

发明内容

本发明的目的在于提供一种实现重复数据数据删除的方法，实现重复数据删除就要找到相同数据，然后建立高速的索引，用索引代替相同的数据，本发明与现有技术不同之处在于，它基于相似度算法理论，利用二进制数据对比保证数据一致性。主要步骤包括：

通过simhash(相似性哈希)算法计算数据的相似度；

通过相似度定位存储位置，把相似度计入索引库；

把数据写入数据仓库。如果有相同的相似度的数据进来的话，把数据仓库中对应的数据提取出来，然后进行二进制比对；

如果相同则记录索引，如果不同则记录不同的数据部分。

所述方法按照一定的格式记录数据结构，通过数据指纹加数据对比的方式实现数据的准确性和一致性。

本发明还提供了一种一种实现重复数据数据删除的系统，包括：相似度标示库(BitMap)、数据偏移的标示库和数据仓库(LBAMap)，记录原始数据的存储库(Resp)。其中：

相似度标示库，用来标示相似度的值是否存在，所有的相似度的值都可以在bitmap中找到一个固定的标示位，如果该标示位为1，则表示有同样相似度的数据出现过，可以进行数据缩减。BitMap中的数据标示，通过二维座标定位，可以快速的进行相似度定位验证.

数据偏移的标示库，用来表示数据在仓库(resp)中的偏移，LBAMap中记录的LBA和BitMap中标示位相对应，与BitMap相同，LBAMap中的相似度数据偏移定位也是通过二维坐标定位，可以迅速的找到相似度对应的数据偏移。

数据仓库，记录原始数据的存储库，其地址偏移在LBAMap中记录。Resp中的数据按照数据源特征，顺序写入，这样在读取的时可以保证数据顺序读取，保证了系统的性能。

本发明基于相似性哈希算法理论，通过数据对比保证数据一致性，即高效的完成了重复数据删除，又保证了数据的一致性。

附图说明

图1是本发明相似度计算流程图；

图2是本发明相似度内存比对流程图；

图3是本发明数据写入示意图；

图4是本发明数据对比示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。