[发明专利]一种利用失效日志计算存储集群可用性的方法

说明书

技术领域

本发明涉及分布式存储和存储系统可用性领域，具体涉及一种利用失效日志计算存储集群可用性的方法。

背景技术

近年来，云计算领域相关技术得到了广泛的关注。分布式存储技术作为云计算的支撑技术之一，得到了进一步的发展并被广泛应用到商业信息系统中。Google开发了一个可扩展的分布式文件系统GFS，用于大规模分布式访问数据的应用。GFS能够搭建于廉价的普通硬件上，通过冗余等方式提供容错能力。Apache根据GFS的设计原理开发了HDFS系统，HDFS通过数据副本和元数据服务器冗余提高可用性，目前在国内许多大型商业公司中都有应用。作为云计算领域的先行者，Amazon开发了商业存储系统Amazon S3(Simple Storage System)，其可用性达到了0.9999。

可用性严格定义：指当需要时，系统或元部件在该时刻处于正常工作状态（正常可用状态）的能力。分布式存储系统的可用性在商业存储系统应用中是一个重要的指标。合理评价一个存储系统的可用性，对于了解存储系统服务质量和设计高可用的存储系统具有重要的指导意义。

Ranjita Bhagwan等研究了P2P系统中主机的可用性，通过响应次数/总探测次数来衡量可用性，并发现跨度时间长短影响P2P系统中主机可用性的分布，且可用性与time-of-day有关。Daniel Nurmi等对通过探测心跳方法来衡量主机可用性，并对采集到的主机可用性数据进行统计分析、分布拟合，发现Weibull分布拟合较好。

Dawei Sun等依据概率理论的方法，在已知各个节点的失效概率的情况下，计算出在若干备份的策略下一个块的可用概率，进而计算出一个文件的可用性。

Daniel Ford和Francois Labelle等研究了Google的集群中数据块的可用性。该研究发现，有些失效事件在短时间内接连发生，可以被视为一个失效组，称之为burst。论文对数据块的可用性建立了一个连续时间参数的Markov模型，并利用该模型求解数据块的平均失效时间（mean time to failure MTTF）。

Ranjita Bhagwan和Daniel Nurmi的研究均着眼于单个主机的可用性，没有对整个分布式存储系统中数据块的可用性进行研究。

Dawei Sun的研究从概率角度评估分布式存储系统中数据块的可用性，得到的结果是某时刻的可用概率。该研究并没有考虑失效事件发生的统计特征，对于系统中发生burst的情况未予考虑。同时，该研究假设已知每个块的可用概率，在实际的分布式存储系统的运行维护期间这个数据并不容易获得。

Daniel Ford和Francois Labelle等的研究分别针对有考虑burst和不考虑burst的情况进行了分析，利用Markov模型对数据块的平均失效时间（MTTF）建模。该模型综合考虑和失效速率和恢复速率，借助随机过程相关计算方法，利用Google的数据得到的MTTF分别约为在10e7天和10e9天。该数据与通常的评估可用性的形式不同，并没有计算出明确的可用性值。另外，该模型在使用恢复速率时，只计算出单位时间内平均能恢复多少个块，但在实际运维过程中，一个数据块失效过程通常会分为两个部分，前一段时间用于检测到数据块失效，后一段才真正开始恢复失效的数据块。从数据块开始不可用到系统检测到这一数据块不可用期间，系统对该数据块的请求都无法完成。

发明内容

本发明提出了一个实用的分布式存储系统可用性评估方法。该方法能够利用系统运维产生的失效日志记录和必要的系统信息评估该存储系统的可用性。

目前分布式存储系统提高可用性的主流方法为多副本冗余方式。分布式存储系统中数据块可用性计算需要计算在给定的时间段内，该数据块处于不可用状态和可用状态的平均时间。