[发明专利]内容可寻址存储系统和方法

说明书

背景技术

本发明总体上涉及内容可寻址存储，并且更具体地涉及对内容可寻址存储系统中数据的改进的访问。

对大量数据进行存储对商业是至关重要的。除了其它商业应用之外，必须备份文件系统，必须保持大量记录以满足管理需求，并且必须存储庞大的数据集合。这种重要数据必须以对于硬件故障可复原的方式来存储。解决这些数据集合中每一个的具体需求的各种系统被使用。

以前，内容可寻址存储(CAS)已用于构建大容量存储系统。CAS系统通过混杂数据块内容而为数据块生成地址。这允许数据块的两个副本能容易地被识别，从而CAS系统仅需要存储数据块的一个副本。存储需求的降低使得CAS系统对大容量存储器是有用的。

然而，由于CAS通常存储不变的对象，因此它们只允许写入组织为有向非循环图(DAG)的数据。即，一旦父块指向子块(例如，包括子块的地址)，子块就不可能指向父块。忽视其中子块被多个父块指向的共享情况，这些DAG可以非正式地被称为“树”。使用CAS来实现允许修改存储数据(例如，允许重写文件)的存储系统提出了两个重大挑战-(1)如何有效地使用存储(例如，使父块的使用最小化以指向一组改变中的数据/叶子/子块)，以及(2)如何允许对树的不同部分的同时修改(例如，避免过度锁定)以便提供更好的性能。因此，需要一种在内容可寻址存储系统中存储和获取数据的改进系统和方法。

发明内容

本发明总体上提供使用基础的内容可寻址存储来有效地存储信息的系统和方法。在诸如内容可寻址存储系统的存储系统中存储诸如从客户端接收的文件等的信息。文件服务器从客户端接收数据(例如，将数据添加到文件)和/或元数据操作，诸如创建或移除文件。将数据分组为数据块，所述数据块存储在块存储的数据块存储中。因为数据写操作引起文件系统元数据修改，所以提交服务器(commit server)用于写入反映新的元数据的新树。在至少一个实施例中，文件服务器将必须由提交服务器执行的操作记入更新日志。更新日志由提交服务器获得并且其中所述的操作应用于它的文件系统的当前镜像，产生被写入到数据块存储的新的元数据块(例如，包括新的文件系统版本)。来自更新日志的每个操作与时间戳关联，所述时间戳用于向提交服务器指示操作必须被应用的顺序，并允许文件服务器通过清洁(clean)进程清洁其缓存的数据。

在至少一个实施例中，最近版本的树用于更新本地数据和在文件服务器缓存的元数据。文件服务器获取树的根块(例如，超级块)，所述根块具有指示对树的最近更新的关联时间戳(例如，来自所应用的更新日志的最后操作)。根据最近版本的存储树的根块的时间戳，元数据缓存器中过时版本的元数据对象被丢弃，并在一些实施例中，被来自块存储中树的更新版本来取代。

对于本领域技术人员而言，通过参考如下详细描述和相应附图，本发明的这些和其它优点将变得明显。

附图说明

图1是根据本发明实施例的存储系统的示意图；

图2是根据本发明实施例的文件系统的示意图；

图3描述了在存储系统中存储信息的方法的流程图；

图4描述了根据本发明实施例的示例性元数据树；以及

图5描述了在文件服务器中维护元数据的流程图。

具体实施方式

常规的内容可寻址存储系统(CAS)与文件系统前端(例如，数据输入)的结合允许大型文件的高吞吐量读取和写入，所述大型文件的数据被有效地且可复原地存储。图1描述了这种结合的实施例。使用基础的CAS作为块存储106来构建存储系统100。存储系统100具有诸如文件服务器102的接口，该接口允许数据的接收、创建和/或修改(例如，写入文件)或元数据操作(例如，在目录中插入新文件，改变文件的许可等)。来自文件服务器102的数据被写入到块存储106。提交服务器112用于应用从文件服务器接收的操作，以及与文件服务器102接口分离地且不考虑文件服务器102接口地将表示文件系统元数据的数据块写入块存储106。这样，异步地执行由文件服务器102将数据写入存储以及由提交服务器112将元数据写入存储，有助于大型文件的高效高吞吐量读取和写入。