[发明专利]重复数据删除方法

说明书

技术领域

本发明涉及计算机应用领域，尤其涉及一种云存储中的重复数据删除方法。

背景技术

随着云计算的兴起，计算机领域正发生着深刻的变革。我国云计算服务市场处于起步阶段，云计算技术与设备已经具备一定的发展基础。我国云计算服务市场总体规模较小，但追赶势头明显。据Gartner估计，2011年我国在全球约900亿美元的云计算服务市场中所占份额不到3％，但年增速达到40％4，预期未来我国与国外在云计算方面的差距将逐渐缩小。

云计算很重要的一项技术就是“资源池”管理技术，主要实现对物理资源、虚拟资源的统一管理，并根据用户需求实现虚拟资源(虚拟机、虚拟存储空间等)的自动化生成、分配、回收和迁移，用以支持用户对资源的弹性需求。

不过，目前的云计算系统还存在着一些挑战。其中最大的问题是云计算系统后端存储数据巨大增长的问题。由于采用云计算技术带来了大量重复的数据，因为对于不同的虚拟机而言，可能其中60％以上的系统数据是完全一样。如果100个VM运行同一个操作系统，且每个虚拟机需要10GB至20GB的存储空间，即1TB至2TB的存储空间专用于同一数据的几乎相同的拷贝。随着云计算的规模越来越大需要数据中心提供巨大的存储空间和高昂的数据管理费用，从而为数据中心带来了很大的存储开销。因此需要一个面向云计算的重复数据删除系统以改善数据存储的问题。

目前在存储领域的重复数据删除方法主要有基于源端和基于目的端的实现，在云计算环境下采用源端的技术要求使用最终用户安装一定的应用程序或者设备不是很合适。而采用目的端的方式，目前主要是集成在存储阵列中或者需要采用专门的重复数据删除设备，这对于云计算大规模海量的存储设备构建比较困难。

发明内容

本发明提供了一种重复数据删除方法，解决了现有的云计算系统中镜像存储系统存储开销过大的问题。

一种重复数据删除方法，包括：

在有新的数据块需要写入时，生成所述数据块的指纹；

根据所述数据块的指纹查询预置的已存储数据块的块指纹索引，检查所述数据块是否与已存储数据块重复；

在确定所述数据块与已存储的数据块重复时，删除所述新的数据块。

优选的，所述在有新的数据块需要写入时，生成所述数据块的指纹的步骤之前，还包括：

为每个块组(Block Group)中已存储数据块的生成一块指纹索引，在所述块指纹索引中包括各个数据块的块指纹索引值，所述块指纹索引值包括数据块的指纹和引用计数，所述引用计数纪录所述数据块被重复引用的次数。

优选的，所述在有新的数据块需要写入时，生成所述数据块的指纹的步骤之前，还包括：

生成已存储数据块的内存索引过滤器，所述内存索引过滤器为一内存中的索引结构，将全部已存储数据块的指纹的前若干位作为索引键，将所述索引键与对应数据块的地址存储于所述内存索引过滤器中。

优选的，根据所述数据块的指纹查询预置的已存储数据块的块指纹索引，检查所述数据块是否与已存储数据块重复包括：

检查所述数据块指纹的前若干位是否能够与所述内存索引过滤器中的索引键相匹配；

在所述数据块指纹的前若干位不能与所述内存索引过滤器中的任一索引键相匹配时，判定所述数据块不与已存储数据块重复。

优选的，所述检查所述数据块指纹的前若干位是否能够与所述内存索引过滤器中的索引键相匹配的步骤之后还包括：

在所述数据块指纹的前若干位能够与所述索引过滤器中的一个或多个索引键相匹配时，提取所述相匹配的一个或多个索引键对应的完整指纹；

将所述数据块指纹与所述一个或多个索引键对应的完整指纹进行比对；

在所述一个或多个索引键对应的完整指纹中存在与所述数据块指纹相同的指纹时，判定所述数据块与已存储数据块重复。

优选的，所述将所述数据块指纹与所述一个或多个索引键对应的完整指纹进行比对的步骤之后，还包括：

在所述一个或多个索引键对应的完整指纹中不存在与所述数据块指纹相同的指纹时，判定所述数据块不与已存储数据块重复。

优选的，所述在确定所述数据块与已存储的数据块重复时，删除所述新的数据块的步骤之后，还包括：

将与所述新的数据块相同的已存储数据块的引用次数加一。

优选的，所述在有新的数据块需要写入时，生成所述数据块的指纹的步骤之前，还包括：