[发明专利]动态量化和提高分布式数据存储系统的可靠性

说明书

本申请要求于2008年4月17日提交的申请号为61/045,718的美国临时申请的优先权，该临时申请通过引用结合于此。

背景技术

本申请大体涉及数据存储系统，更具体地，涉及动态量化和提高分布式数据存储系统的可靠性。

数据的可靠存储在广泛的应用上是关键性操作：例如，个人记录，金融交易，多媒体服务，工业过程控制，以及基础研究。数据被存储在物理介质上，诸如半导体介质(如闪存)、光电介质(如光盘和数字视频盘)和磁介质(如磁带和硬盘驱动器)。由于各种应用需要高容量和快速动态读/写速度，磁盘驱动器是当前最常用的数据存储设备。然而，其他介质的容量和读/写速度都在不断增加。

对于高容量数据存储系统，多个数据存储设备可被连接在一起。例如，多个硬盘驱动器可以经由本地接口被连接以形成数据存储单元。之后，多个数据存储单元可以经由数据通信网络被连接以形成分布式数据存储系统。由于每个设备都可能会出故障，所以分布式数据存储系统具有多个故障点。通常使用冗余来提高可靠性，通过复制数据块，如在RAID-1或基于副本的分布式系统中，或通过存储附加信息，如在RAID-5或纠删编码的(erasure-coded)分布式系统中。当大规模系统中的设备出故障时，由于设备修复或更换可能花费很长时间，并且期间还可能发生新的故障，因此存储在该设备上的数据必须立即在其他设备上重建，除非系统中的冗余量非常巨大。然而，因为高冗余包含额外设备的支出，所以所期望的是通过故障管理策略而不是额外的硬件来提高可靠性。

为了提高可靠性，首先需要定义表征分布式数据存储系统的定量度量(quantitative metric)。现有的度量包括数据丢失概率(PDL)和平均数据丢失时间(MTTDL)。PDL作为导致数据丢失仿真运行的比例来估计，或者通过使用该系统的PDL的(典型地组合)模型来估计。类似地，MTTDL作为在大量仿真上的数据丢失时间的平均值来估计，或者通过使用系统可靠性的(典型地马尔可夫)模型来估计。然而，无论它们被如何计算，PDL和MTTDL都以单一的、静态度量对可靠性进行量化，不论该系统的时间或当前状态。尽管在某些应用中非常有用，但是这些度量也仅仅提供系统可靠性的宏观的、长期的视角。当发生设备故障、数据重建、设备更换时，这些度量并不能评估每个时间点的可靠性。

因此，需要用于动态量化分布式数据存储系统的可靠性以及在没有附加设备冗余的情况下提高可靠性的方法和设备。

发明内容

在本发明的一个实施例中，数据存储在包括多个磁盘的分布式数据存储系统中。当磁盘发生故障时，通过根据调度表(schedule)执行重建集来恢复系统可靠性。重建集被接收并且划分为队列集，所述队列集通过从最低冗余级到最高冗余级变动的冗余级而按等级排序(rank-ordered)。计算用于具有最低冗余级的队列中的重建的第一交集(intersection)矩阵。计算表征系统可靠性的第一常态偏差分数(Normalcy Deviation Score)。计算每个磁盘的第一磁盘分数。至少部分基于第一交集矩阵、第一常态偏差分数、以及第一磁盘分数，为所接收到的重建集生成第一调度表。对于剩余队列重复该过程，并生成最终调度表。

通过参照下面的详细描述以及相应的附图，本发明的上述以及其他优点对于本领域技术人员来说是清楚的。

附图说明

图1示出了数据通信系统的高层次示意图；

图2示出了簇(cluster)分配的冗余方案；

图3示出了链式去簇(decluster)分配的冗余方案；

图4示出了去簇分配的冗余方案；

图5示出了恢复过程的高层次流程图；

图6A-图6D示出了MinI策略的步骤的高层次流程图；

图7示出了计算机的高层次示意图。

具体实施方式