[发明专利]分布式文件系统中的去重复

权利要求书

1.一种方法，包括：

根据表示文件内容的潜在键集确定包括第一和第二键类别的键类别，其中第一键类别包括比第二键类别更大数目的潜在键，其中所述潜在键集中的每个潜在键基于对文件内容的相应数据块应用函数而被计算；

在每个包括相应处理器的索引节点之间分配对键类别的控制；

在所接收的文件内容的数据块的去重复期间，由去重复节点生成通过对所接收的文件内容的数据块应用函数而计算的键；

由去重复节点基于所生成的键与由所述索引节点控制的键类别之间的关系在发送到索引节点的索引请求中分布所生成的键；以及

通过去重复节点接收：

从所述索引节点中的第一索引节点接收并且包括相应数据块的存储位置的第一响应，所述存储位置从键记录获得，所述键记录包含包括在索引请求中的第一索引请求中并且对应于相应的数据块的第一键，所述键记录从键数据库获取；以及

来自索引节点中的第二索引节点的第二响应，所述第二响应响应于索引请求中的第二索引请求并且指示代表在索引节点之间的键类别的分配控制的键类别分布数据是陈旧的。

2.根据权利要求1所述的方法，进一步包括：

将所述键分组成键组，所述键组中的每一个包括作为所述键类别中相应的一个键类别的成员的代表性键；

其中所述分布包括基于所述键组中的代表性键和由所述索引节点控制的所述键类别之间的关系将所述键组发送至所述索引节点。

3.根据权利要求1所述的方法，其中确定包括：

执行对根据所期待的文件内容计算的潜在键集中的潜在键的静态分析或对潜在键集中的潜在键的启发分析中的至少一个以识别有可能的键类别；以及

基于所述静态分析或所述启发分析中的至少一个选择键类别。

4.根据权利要求1所述的方法，进一步包括：

响应于接收到所接收的文件内容的其它数据块时，由去重复节点指示所述其它数据块应当被存储在所述文件系统中而不进行去重复。

5.根据权利要求1所述的方法，还包括：

通过所述去重复节点响应于第二响应来更新所述键类别分布数据。

6.根据权利要求1所述的方法，其中所述潜在键组包括在将所接收的文件内容的数据块存储在文件系统中之前产生的键。

7.根据权利要求2所述的节点，其中所述键组中的每一个键组还包括不是所述键类别中任何一个的成员的非代表性键；所述方法还包括：

通过所述去重复节点从所述索引节点接收对键组的响应，基于所述索引节点对键组的响应将所述键组与记录匹配，所述记录包含每一个包括一个代表性键和一个非代表性键的键组。

8.根据权利要求1所述的方法，还包括：

通过所述去重复节点从所述索引节点中的第三索引节点接收第三响应，所述第三响应指示包括在所述索引请求中的第三索引请求中的第二键未被存储在所述键数据库中。