[发明专利]一种利用失效日志计算存储集群可用性的方法

摘要

本发明提出了一个实用的分布式存储系统可用性评估方法，流程如图1。该方法能够利用系统运维产生的失效日志记录和必要的系统信息评估该存储系统的可用性。由于短时间内连续发生的失效往往对可用性造成很大的影响，本发明提出的模型考虑到了这种影响，使得模型更加准确。

主权项

一种利用失效日志计算存储集群可用性的方法，其特征在于：提出了一种用于计算可用性的模型，能够在已知集群配置信息的情况下，根据失效日志计算可用性，该方法包括以下步骤：步骤1：获取失效日志文件；步骤2：根据日志中的失效记录计算burst，burst是指在短时间内发生多次失效，burst的大小是指在指定时间内的失效次数，在步骤1中获取的失效日志文件中读取所有结点失效的时间，分析失效节点的时间序列，首先，设定阈值tbst＝120秒；如果连续的两个失效发生时间小于120秒，则认为这两个失效位于同一个burst中；从失效事件发生时间的序列计算所有的burst，具体为：从时间序列的第二项开始，依次检查每一项与前面一项的差值，如果差值小于预定义的阈值，则将当前burst大小加1，否则该时间点位于一个新的burst中，重复直到所有的时间点被处理完，将各个burst的大小存放在burst数组中；步骤3：根据失效burst计算存储系统可用性，具体为：假设分布式存储系统中共有主机M台，每个数据块有N个副本冗余，N包含原始数据块副本，不同的副本分布在不同的主机上，其中N远小于M，当N个副本全部坏掉时，该数据则处于不可用状态，需花费tuN时间从系统外恢复，当N个副本中有i个副本坏掉时，其中i＝1,2...N‑1，因系统的读写策略和恢复副本策略，该数据有tui时间不可用；将失效事件分为两类，一类为burst大小小于N的burst事件，另一类为burst大小大于或等于N的burst事件；分别考虑这两类burst事件对数据块不可用时间的影响：1)burst大小小于N的burst事件：对于特定的一个数据块，当一个burst大小为n的burst事件发生时，该数据块可能损坏的副本数目可能为0,1,2...n，该数据块因此次burst事件损坏了i个副本导致的平均不可用时间记为t1_i，设p＝N/M,记q＝1‑p，则因此当一个burst大小为n，n<N，的burst事件发生时，该数据块平均不可用时间为2)burst大小大于或等于N的burst事件：对于特定的一个数据块，当一个burst大小为n，n≥N，的burst事件发生时，该数据块可能损坏的副本数目可能为0,1,2...N，该数据块因此次burst事件损坏了i个副本导致的平均不可用时间记为t2_i，则因此当一个burst大小为n，n≥N，的burst事件发生时，该数据块平均不可用时间为当n很大时，计算t2_i会出现较大误差，因此改进如下：该存储系统发生一次burst事件，导致所有M台主机中共有n台主机不可用；分别计算某一数据块的N个副本中有i(i＝0,1,2...N)个副本落在不可用的n台主机的概率，进而计算当一个burst大小为n(n≥N)的burst事件发生时，该数据块平均不可用时间为其中，设该系统运维产生的失效事件集合为F＝{(t,mid,info)∶0<t<T}，其中，t,mid,info分别为该失效发生的时间，所在主机号和其他信息；首先将集合F中的失效事件按时间排序，若相邻的两个失效事件发生的时间小于tbst，则这两个失效事件属于同一个burst，单独的失效事件视为大小为1的burst事件，如此将F中所有的失效事件归属到相应的burst，并将所有的burst的集合记为B；对于B中的每一个burst事件b，设其大小为|b|，它所造成的平均不可用时间为t|b|；则该系统在0～T时间段内所有失效事件造成的不可用时间总和为按照可用性计算公式可得可用性