[发明专利]一种加密重复数据删除系统中的高效元数据管理方法

说明书

本发明公开了一种加密重复数据删除系统中的高效元数据管理方法，属于数据存储技术领域。本发明可用于客户端‑服务器的存储模型中，也可应用于云计算。本发明通过将相邻加密数据块的元数据收集到元数据块中，即每一个元数据块对应一个区域的加密数据块，而只在文件元数据和密钥元数据中存储元数据块的相关信息。同时，本发明进一步将重复数据删除操作扩展应用于元数据块：由于跨备份的相同数据块往往聚集形成重复区域，对于这些重复的数据区域只需保留一份元数据块，从而减少元数据存储开销。

技术领域

本发明属于数据存储技术领域，尤其涉及面向加密重复数据删除系统的元数据管理。

背景技术

重复数据删除技术广泛应用于备份存储系统，其通常采用的技术方案包括：①将备份文件划分为固定或可变长度的逻辑数据块；②针对每个逻辑数据块，计算基于数据内容的哈希值(称为指纹)来唯一地标识相应数据块；③仅为具有相同指纹的逻辑数据块存储唯一副本(称为物理数据块)，以节省存储空间。

为了保护数据隐私，加密重复数据删除增加了一层加密层，作用于逻辑数据块。该加密层基于逻辑数据块的数据内容来产生加密密钥，称为MLE(message-lockedencryption)密钥，例如MLE密钥为数据块的哈希值，从而将相同的明文数据块加密为相同的密文数据块。由于保留了重复数据块，系统可以将重复数据删除应用于加密后的逻辑数据块，在保护数据隐私的基础上支持基于加密数据的重复数据删除。

除了存储非重复的密文数据块外，加密重复数据删除系统(即应用了加密重复数据删除技术的存储系统，如图1所示)还需存储元数据信息，包括指纹索引、文件元数据和密钥元数据：

(1)指纹索引保存了已存储物理数据块的指纹信息，用于与待存储逻辑数据块的指纹进行比对，以执行重复数据删除操作；

(2)文件元数据保存了文件内所有逻辑数据块与相应物理数据块的映射关系，用于重构完整文件；

(3)密钥元数据保存了文件内所有逻辑数据块的解密密钥，用于恢复相应的明文数据块内容，由于密钥元数据包含敏感的密钥信息，需由文件属主的主密钥加密后，以密文形式存储。

以上元数据信息会造成巨大存储开销，一定程度上抵消加密重复数据删除所获得的存储空间节省。以下分别通过理论分析和真实数据集验证来揭示元数据存储的高开销问题。

令L为备份文件的原始大小，P为加密重复数据删除操作后所存储的物理数据的实际开销，f和k分别为文件元数据和密钥元数据与数据块长度的比率，则加密重复数据删除系统需存储f×(L+P)+k×L元数据信息，其中f×P、f×L、k×L分别为指纹索引、文件元数据和密钥元数据的存储开销。假设每个数据块大小为8KB，相应的文件元数据和密钥元数据分别为30字节和32字节(例如使用AES-256加密密钥)。如果重复数据删除因子L/P＝50×，且L＝50TB，那么加密重复数据删除会产生391.25GB元数据存储开销，即在1TB物理数据存储开销之外，额外消耗38.21％存储空间用于存储元数据。

图2和图3仿真了两种真实备份数据集在加密重复数据删除系统中产生的元数据存储开销：如图2所示，累积的元数据随备份数量的增长而增加，尤其在VM数据集中，元数据的存储开销超过了物理数据的存储开销；图3进一步显示了各种类型元数据的存储开销，文件元数据和密钥元数据占了元数据总存储开销的99.58％。