[发明专利]基于兄弟组的内容可寻址存储

说明书

相关申请的交叉参考；权益声明

本申请要求于2012年1月26日提交的美国继续临时专利申请第13/358,742号的权益，其全部内容引用于此。申请人据此取消母申请或其审查历史中对权利要求范围的任何放弃，并建议本申请的权利要求可比母申请中的权利要求的范围更宽。

技术领域

本发明涉及存储系统，更具体地，涉及用于在系统的存储容量增大时以不引起过度开销和数据的移动的方式存储片（chunk）的技术。

背景技术

用于访问存储的数据项的信息在本文中被称为存储项的“访问关键字”。在典型的文件系统中，基于（a）项所存储的位置以及（b）项的名称或标识符来检索存储项。例如，如果名称为“foo.txt”的文件位于名称为“c:/myfiles/text”的目录下，则应用程序（application，应用）可使用路径名“c:/myfiles/text/foo.txt”作为访问关键字来从文件系统检索文件。因为传统的访问关键字基于被检索的项的位置，当项被移动时访问关键字改变。另外，项的每个副本具有不同的访问关键字，因为每个副本被存储在不同的位置。

与传统的文件系统相比，内容可寻址存储（CAS：content addressable storage）系统允许应用程序基于从项的内容生成的哈希值来从存储器检索项。因为CAS系统基于为项产生的哈希值而在项上执行存储器相关的操作，并且哈希值基于项的内容而不是该项所存储的位置，因此请求操作的应用程序可在不知道项的存储副本的数量或位置的情况下如此做。例如，CAS系统可在位置A、B和C存储项X的多个副本。通过向CAS系统发送基于项X的内容的哈希值，期望检索项X的应用程序将如此做。基于该哈希值，CAS系统将向应用程序提供从位置A、B和C中的一个检索到的项X的副本。这样，应用程序将获得项X，而不知道项X实际存储在什么地方、项X存在多少副本、或者实际获得检索到的副本的具体位置。

存储诸如文件或消息的数字项经常涉及对“片（chunk）存储系统”进行调用。片存储系统是在无需理解数字信息本身的格式或内容的情况下执行存储操作的存储系统。这样的存储系统之所以被称为片存储系统是因为该系统将所有形式的数字项视为这些项仅是数据的不透明片。例如，相同的片存储系统可被用于字符处理应用程序、图像管理应用程序、以及日历系统，以各自存储文件、图像和约会。然而，从片存储系统的观点来看，仅一种项被存储：数字信息的不透明片。

片存储系统可被实现为CAS系统。例如，片存储系统可通过对片应用加密哈希函数（例如，MD5、SHA-1或SHA2）来生成用于该片的哈希值。之后片存储可存储该片，并且保持将哈希值与该片所存位置相关联的索引。当应用程序随后请求检索该片时，应用程序向片存储系统提供哈希值。片存储系统使用该索引来定位于哈希值相关的片，并向请求的应用程序提供如此定位的片。

片存储系统可以以各种方式配置。美国申请第13/358,742描述了如何使用各种结构块片存储（building block chunk store）可构成更大的合成片存储。在确定使用何种结构块片存储、以及应如何布置这些片存储的过程中，片存储的有意使用是一个因素。

被配置为在不同的结构块片存储处存储不同的片的片存储系统是一种分布式哈希表，其中，通过对片应用哈希函数而产生的哈希值确定了最终将由哪个结构块片存储来存储该片。例如，考虑包括两个片存储CS1和CS2的简单情形。假设哈希函数产生0和1,000,000之间的哈希值，哈希至落入0和500,000之间的值的片可存储在CS1处，而哈希至落入500,001和1,000,000之间的值的片可存储在CS2处。

片可以哈希至的值的整个范围（例如，0至1,000,000）被称作“哈希空间”。哈希空间的一部分被称作“哈希段”。在具有多个结构块片存储的系统中，不同的哈希段可被分配给不同的结构块片存储。在以上给出的示例中，CS1被分配0至500,000的哈希段，CS2被分配500,001和1,000,000的哈希段。

因为不同的片存储被分配不同的哈希段，因此片存储系统必须能够基于由片生成的哈希值来确定对该片的操作中需要涉及哪个片存储。尽管以稳定状态保持哈希段至片存储的映射相对来说直截了当，但当向系统加入新的片存储和/或现有片存储失效时保持变得日益困难。在任一情况下，可能需要修改哈希段至片存储的映射。为了保持一致性，对映射的任何这种改变还会需要片在片存储间重新分配。这样的重新分配操作在时间和计算资源方面都是昂贵的。