[发明专利]一种容灾备份新型重复数据删除实现方法

说明书

技术领域

本发明专利涉及计算机容灾备份领域。

背景技术

备份设备中总是充斥着大量的冗余数据。为了解决这个问题，节省更多空间，“重复删除”技术便顺理成章地成了人们关注的焦点。采用“重复删除”技术可以将存储的数据缩减为原来的1/20，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。就在几年前，D2D备份似乎还好得令人难以置信。受价格低廉的 ATA（以及稍后的SATA）硬盘的影响，很多人会选择用D2D取代虚拟磁带库或做备份到磁盘的工作，使备份速度变得更快，不必再担心在磁带驱动器和磁带库上产生的机械故障，并且使文件恢复变得更加轻松。

但是今天，我们的磁盘备份设备的容量已经趋于饱和，在数据中心已经没有足够的空间来备份PT级的数据，在这种情况下，当我们希望将备份数据保存一个月时，却只能保存两到三天。重复数据删除技术支持在已有的磁盘设备上存储更多的备份数据。因此采用“重复数据删除”技术可以增加您保存备份数据的时间，减少数据中心的消耗，降低成本。如果您删除重复数据后再通过WAN发送，那么您就能够节省大量的带宽，并且可以取代磁带实现网上离线备份。

重复数据删除按基于去重粒度的分类分为全文件层次的重复数据删除、文件块消冗和字节级消冗。全文件层次的重复数据删除以整个文件为单位来检测和删除重复数据，计算整个文件的哈希值，然后根据文件哈希值查找存储系统中是否存在相同的文件。这种方法的好处是在普通硬件条件下计算速度非常快；这种方法的缺点是即使不同文件存在很多相同的数据，也无法删除文件中的重复数据；文件块消冗将一个文件按不同的方式划分成数据块，以数据块为单位进行检测，该方法的优点是计算速度快、对数据变化较敏感；字节级消冗从字节层次查找和删除重复的内容，一般通过差异压缩策略生成差异部分内容。该方法的优点是去重率比较高，缺点就是去重速度比较慢。

善于抓住机会赚钱的厂商们声称他们的新一代“删除重复数据”产品可以按20：1，甚至300：1的比例缩减我们需要存储的数据量，然而当我们只关注了重复数据删除比的时，却忽略了重复数据删除技术唯一的缺点是备份速度变慢。

发明专利内容

本发明专利涉及一种容灾备份新型重复数据删除实现方法，该方法通过容灾备份一体机的RAID机制，将多个物理盘按指定条带大小组成一个大的物理卷，该方法采用针对指定的条带为重复数据删除的去重粒度建立哈希值，写入的数据通过比对整条带的哈希值进行重复数据删除。

该方法物理卷的指定条带大小有16KB、32KB、64KB、128KB、256KB和512KB等六种，每个指定条带限定为单个数据请求写入，未写入数据块则以“0”值填充。

附图说明

图1为本发明专利的一种容灾备份新型重复数据删除实现方法结构示意图。

具体实施方式

为了使本发明专利的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明专利进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明专利，并不用于限定本发明专利。

请参阅图1，图1为本发明专利的一种容灾备份新型重复数据删除实现方法结构示意图。

一种容灾备份新型重复数据删除实现方法，其特征在于，所述方法包含物理卷指定条带1（10）、物理卷指定条带1数据块（11）、物理卷指定条带2（12）、物理卷指定条带2数据块（13）、容灾备份一体机（14）、物理盘a（15a）、物理盘b（15b）、物理盘c（15c）、物理盘d（15d）、物理卷（16）、应用主机（17）、应用写入数据（18），该方法将容灾备份一体机（14）的物理盘a（15a）、物理盘b（15b）、物理盘c（15c）和物理盘d（15d）组建成物理卷（16），物理卷（16）按指定条带大小划分为物理卷指定条带1（10）、物理卷指定条带2（12）等多个条带，应用主机（17）每次的应用写入数据（18）到物理卷（16）前，都会按条带大小补充“0”值为整条带（19），整条带（19）会比对哈希值，如是重复数据则仅进行标记，如不是重复数据则整条带（19）写入。

一种容灾备份新型重复数据删除实现方法，其特征在于，该方法物理卷（16）中物理卷指定条带1（10）的条带大小分为16KB、32KB、64KB、128KB、256KB和512KB等六种。

一种容灾备份新型重复数据删除实现方法，其特征在于，该方法重复数据删除的粒度以物理卷（16）中物理卷指定条带1（10）的条带大小为固定粒度计算哈希值。