[发明专利]分布式文件系统中的去重复

权利要求书

1.一种在分布式文件系统中去重复的方法，包括：

根据潜在键集确定键类别，所述潜在键被用于代表由文件系统存储的文件内容；

在所述文件系统的索引节点当中分配所述键类别的控制；

在对文件内容的数据块去重复期间，所述文件系统中的节点生成根据数据块计算的键；以及

基于所述键和由所述索引节点控制的所述键类别之间的关系在所述索引节点当中分布所述键。

2.根据权利要求1所述的方法，进一步包括：

将所述键分组成键组，所述键组中的每一个包括作为所述键类别中相应的一个键类别的成员的代表性键；

其中所述分布包括基于所述键组中的代表性键和由所述索引节点控制的所述键类别之间的关系将所述键组发送至所述索引节点。

3.根据权利要求1所述的方法，其中确定的步骤包括：

执行对根据所期待的文件内容计算的所期待的键的静态分析或对根据数据块计算的所述键的启发分析中的至少一个以识别有可能的键类别；以及

从所述有可能的键类别中选择键类别。

4.根据权利要求1所述的方法，进一步包括：

响应于接收到所述键，所述索引节点向所述节点发送响应以提供对用于在所述文件系统中存储的数据块的去重复。

5.根据权利要求1所述的方法，进一步包括：

当接收到文件内容的其它数据块时，所述文件系统中的所述节点指示所述其它数据块应当被存储在所述文件系统中而不进行去重复。

6.一种分布式文件系统中的节点，包括：

输入/输出（IO）接口，用于接收文件数据，与存储子系统通信以及与索引节点通信；

存储器，用于存储使键类别与所述索引节点关联的键类别分布数据，所述键类别是根据被用于代表文件内容的潜在键集确定的；以及

处理器，其被耦合至所述IO接口和所述存储器，以根据文件数据确定数据块，生成根据数据块计算的键，基于所述键类别分布数据在所述索引节点当中分布所述键，以及基于来自所述索引节点的响应对用于在所述存储子系统中存储的数据块去重复。

7.根据权利要求6所述的节点，其中所述处理器将所述键分组成键组，所述键组中的每一个包括作为所述键类别中相应的一个键类别的成员的代表性键，并且所述处理器基于所述键组的代表性键和所述键类别分布数据将所述键组发送至所述索引节点。

8.根据权利要求7所述的节点，其中所述键组中的每一个包括至少一个并非是任何键类别的成员的非代表性键。

9.根据权利要求6所述的节点，其中所述处理器从所述索引节点接收指示数据块中的哪些是重复的响应，并且基于所述响应选择性地将数据块发送至所述存储子系统以便被存储。

10.根据权利要求6所述的节点，其中所述处理器根据文件数据确定其它数据块，并将所述其它数据块发送至所述存储子系统以便被存储而不进行去重复。

11.一种分布式文件系统中的节点，包括：

输入/输出（IO）接口，用于与存储键数据库的至少一部分的存储子系统通信，并且接收来自去重复节点的索引请求，所述索引请求包括用于被去重复的数据块的计算的键，所述计算的键是被指派给所述节点的键类别的成员，所述键类别是根据潜在键集确定的多个键类别中的一个；以及

处理器，其被耦合至所述IO接口，以通过利用所述计算的键查询所述键数据库来生成结果，并且基于所述结果响应所述去重复节点以提供对用于在存储系统中存储的数据块的去重复。

12.根据权利要求11所述的节点，其中所述计算的键被分组成键组，所述键组中的每一个包括作为被指派给所述节点的键类别的成员的代表性键和至少一个并非是任何键类别的成员的非代表性键。

13.根据权利要求12所述的节点，其中所述处理器基于所述键组的代表性键从所述键数据库获取键记录。

14.根据权利要求13所述的节点，其中所述键记录中的每一个包括其中的每个代表性键和非代表性键的值以及与其中的每个代表性键和非代表性键相关的数据块在所述存储子系统中的位置。

15.根据权利要求12所述的节点，其中所述存储子系统存储所述键数据库的第一部分，以及其中所述节点进一步包括：

存储器，用于存储所述键数据库的第二部分，所述第二部分包括用于由所述存储子系统存储的数据块的代表性键。