[发明专利]一种基于变点小波法的硬盘失效分析方法

权利要求书

1.一种基于变点小波法的硬盘失效分析方法，其特征在于包括有下列步骤：

步骤一，读取硬盘运行状况日志；

从存储服务器的硬盘中读取多个硬盘运行状况的多条日志，形成日志集合，记为DLOG；对日志集合DLOG按照日志采集时间先后进行排序，得到待处理－日志集合D_Log＝{Log₁,Log₂,…,Log_i,…,Log_j,…,Log_y,…,Log_z}；

Log₁表示第一条待处理－日志；

Log₂表示第二条待处理－日志；

Log_i表示第i条待处理－日志；

Log_j表示第j条待处理－日志；

Log_y表示第y条待处理－日志；

Log_z表示第z条待处理－日志；

Log_i、Log_j、Log_y和Log_z为不同的待处理－日志；

步骤二，依据硬盘序列号选取出属于同一硬盘中的日志；

依据硬盘序列号serial_number从步骤一的待处理－日志集合D_Log＝{Log₁,Log₂,…,Log_i,…,Log_j,…,Log_y,…,Log_z}中选取出属于同一硬盘的日志，记为待处理－同硬盘－日志集合D_Log^HD，且

表示待处理－同硬盘－第一条日志；

表示待处理－同硬盘－第二条日志；

表示待处理－同硬盘－第i条日志；

表示待处理－同硬盘－第j条日志；

表示待处理－同硬盘－第y条日志；

表示待处理－同硬盘－第z条日志；

硬盘集合记为HD＝{hd₁,hd₂,…,hd_A}；hd₁表示第一个硬盘；hd₂表示第二个硬盘；hd_A表示最后一个硬盘；

步骤三，时序化同一硬盘上的硬盘运行状况日志；

步骤301，将256个硬盘运行状态smart特征赋值到各个日志上；

每一个硬盘运行日志Log的信息会被记录于硬盘运行状态特征中的某一个smart特征或者多个smart特征中；由于硬盘运行状态smart特征SMART＝{smart_1,smart_2,…,smart_255,smart_256}，则有：待处理－同硬盘－第i条日志携带的硬盘运行状态smart特征，记为同硬盘－smart特征的第i条日志

表示日志携带了硬盘的原始数据读取错误率smart_1特征；

表示日志携带了硬盘的读写性能smart_2特征；

表示日志携带了硬盘的读取错误重试率smart_255特征；

表示日志携带了硬盘的自动跌落保护记录smart_256特征；

步骤302，对携带smart特征的日志进行行列变换，得到时序化变换日志；

依据日志生成时间date的先后对对同硬盘－smart特征日志进行排序，然后进行行列变换处理，得到时序化－日志集合SMART^HD，记为：

简化所述时序化－日志集合为

表示日志的任意一个smart特征；

表示日志的任意一个smart特征；

表示日志的任意一个smart特征；

表示日志的任意一个smart特征；

表示日志的任意一个smart特征；

表示日志的任意一个smart特征；

步骤四，同硬盘有效特征获取；

设置了2个检测规则，分别为硬盘运行状态特征判断规则Ⅰ和硬盘运行状态特征判断规则Ⅱ；

待处理－同硬盘－第i条日志的硬盘运行状态smart特征的特征方差，记为

硬盘运行状态特征判断规则Ⅰ

检测所述时序化－日志集合为的值是否都为空；

如果都为空，则认为所述SMART^HD没提供smart特征信息，对硬盘失效分析没有贡献，则需要放弃所述SMART^HD；

如果为非空，保留所述SMART^HD，并将SMART^HD记为时序化－有效日志集合则有

硬盘运行状态特征判断规则Ⅱ

在时序化－有效日志集合中，如果的特征方差则认为所述是常量，对硬盘失效分析没有贡献，需要放弃中对应的序列，得到空序列－时序化－有效日志集合

在时序化－有效日志集合中，如果的特征方差则认为所述的值为变化量，能够为硬盘失效分析提供贡献，保留中对应的序列，同时时序化－有效日志集合不变化；

步骤401，判断同硬盘上的日志的smart特征是否全为空；

采用硬盘运行状态特征判断规则Ⅰ遍历步骤三得到的时序化－日志集合SMART^HD中256个smart特征；

如果都为空，则认为所述SMART^HD没提供smart特征信息，对硬盘失效分析没有贡献，则需要放弃所述SMART^HD；

如果为非空，保留所述SMART^HD，并将SMART^HD记为时序化－有效日志集合则有：

步骤402，对时序化－有效日志进行方差判断；

待处理－同硬盘－第i条日志的硬盘运行状态smart特征的特征方差，记为

采用硬盘运行状态特征判断规则Ⅱ遍历时序化－有效日志集合特征方差；

如果特征方差则认为所述是常量，对硬盘失效分析没有贡献，需要放弃时序化－有效日志集合中对应的序列，得到空序列－时序化－有效日志集合执行步骤501；

如果特征方差则认为所述的值为变化量，能够为硬盘失效分析提供贡献，保留时序化－有效日志集合中对应的序列，同时时序化－有效日志集合不变化；执行步骤501；

步骤五，填充硬盘运行状况日志的空缺值；

由于硬盘运行和采集记录的设备不稳定或者其他因素，导致采集到的硬盘运行状况日志不是按日志生成时间date连续采样，故需要对存在空缺的所述date进行时间连续的日志补缺硬盘运行状况日志；由同硬盘－规则II－日志集合得到同硬盘－补缺－日志集合

表示日志Log₁经硬盘运行状态特征判断规则Ⅱ处理的日志；

表示日志Log₂经硬盘运行状态特征判断规则Ⅱ处理的日志；

表示日志Log_i经硬盘运行状态特征判断规则Ⅱ处理的日志；

表示日志Log_j经硬盘运行状态特征判断规则Ⅱ处理的日志；

表示日志Log_y经硬盘运行状态特征判断规则Ⅱ处理的日志；

表示日志Log_z经硬盘运行状态特征判断规则Ⅱ处理的日志；

表示需要补缺的第一条日志；

表示需要补缺的第二条日志；

表示需要补缺的第i条日志；

表示需要补缺的第j条日志；

表示需要补缺的第y条日志；

表示需要补缺的第z条日志；

步骤501，检测日志生成时间；

对同硬盘－规则II－日志集合进行日志生成时间date^HD_Ⅱ检测，若所述日志没有出现日志生成时间date^HD_Ⅱ，但该条日志中包括的信息项：硬盘序列号serial_number、硬盘型号model、硬盘内存容量capacity_bytes和硬盘运行状态特征SMART，至少存在一个信息项有空缺值，则说明该日志的内容信息项出现了空缺的信息项，需要进行该日志的信息项补缺；若所述日志生成时间date^HD_Ⅱ存在间隔则说明出现了空缺的日志，需要进行日志补缺；若所述日志生成时间date为连续date^HD_Ⅱ的，则说明日志是连续采样的；

步骤502，插入空缺日志；

经步骤501检测出需进行信息项补缺或日志补缺的硬盘DL^HD_Ⅱ，DL^HD_Ⅱ中待处理的日志记为首先根据时间间隔找到时间间隔的前一时间对应的硬盘日志然后找到时间间隔的后一时间对应的日志其次对所述与的非数值化信息：硬盘序列号serial_number^HD_Ⅱ、硬盘型号model^HD_Ⅱ，因为同一个硬盘不同日志生成时间的日志中硬盘序列号serial_number、硬盘型号model分别对应相等，因此待处理日志的非数值化信息：硬盘序列号serial_number^HD_Ⅱ、硬盘型号model^HD_Ⅱ，与所述与的非数值化信息是一致的；对所述与中包括的数值化信息：硬盘已用内存容量capacity_bytes^HD_Ⅱ和对硬盘运行状态特征SMART^HD_Ⅱ，依次计算所述与的平均值，作为缺失日志已用内存容量的值，所述与的平均值，作为缺失日志硬盘运行状态特征的值；即插入的缺失日志形式化表述如下：

其中，

k∈[1,4,5,7,9,12,183,184,187,188,189,190,192,193,194,197,198,199,240,241,242]；

为了直观的显示在对硬盘日志填充值的效果，采用二维直角坐标系展示了填充所述特征值后的硬盘日志

步骤六，归一化硬盘运行状况日志；

由于硬盘运行日志中包括的内容信息，日志生成时间date、硬盘序列号serial_number、硬盘型号model、硬盘内存容量capacity_bytes和硬盘运行状态特征SMART具有不同的量纲；

对硬盘运行日志进行归一化，对同硬盘－补缺-日志集合归一化，得到同硬盘－归一化－日志集合，记为且

对需要补缺的第一条日志归一化后，记为

对需要补缺的第二条日志归一化后，记为

对需要补缺的第i条日志归一化后，记为

对需要补缺的第j条日志归一化后，记为

对需要补缺的第y条日志归一化后，记为

对需要补缺的第z条日志归一化后，记为

所述同硬盘－补缺-日志集合D_Log^HD_fill中的硬盘运行状态特征SMART^HD_fill内含21个smart_k^HD_fill特征的值序列，记为：

其中

所述同硬盘－补缺-日志集合D_Log^HD_fill中的硬盘已用内存容量capacity_bytes^HD_fill特征的值序列，记为：

归一化方法是指对所述21个smart_k^HD_fill特征的值序列、硬盘已用内存容量capacity_bytes^HD_fill的值序列，分别求其归一化值，归一化后取值范围为0～1，而对非数值化的采集时间data^HD_fill、硬盘序列号serial_number^HD_fill、硬盘型号model^HD_fill归一化后字段内容不变；

归一化的描述为：

表示归一化映射，从同硬盘－补缺-日志集合映射为同硬盘－归一化－日志集合；

X′表示同硬盘－补缺-日志集合DL^HD_fill，所述日志集合含有采集时间data^HD_fill、硬盘序列号serial_number^HD_fill、硬盘型号model^HD_fill硬盘、已用内存容量capacity_bytes^HD_fill和smart_k^HD_fill特征的值序列；

Y′表示同硬盘－归一化－日志集合所述日志集合含采集时间硬盘序列号硬盘型号硬盘、已用内存容量和特征的值序列；

步骤七，小波变换硬盘运行状况日志；

采用离散小波变换方法，其时域平移因子与频域伸缩因子都可以改变，在时域和频域上都具有提取信号局部特征的能力；

硬盘运行状况的突变蕴含硬盘失效的重要信息，是硬盘失效表现的重要特征之一；小波变换能够把信号分解为一系列不同频率分量的信号，其中高频信号蕴含着突变点和不规则的突变部分；把硬盘运行状况的时序特征看作是信号，从时频域角度分析硬盘时序特征的变点小波来表征硬盘失效；为了便于找到硬盘运行状况的突变点，对该硬盘运行状况日志进行小波变换，得到硬盘运行状况日志的小波；

步骤701，小波变换；

从同硬盘－归一化－日志集合中得到同硬盘－小波变换－日志集合

其中，上角标W表示小波变换的标识；

所述同硬盘－归一化－日志集合中的硬盘运行状态特征内含21个特征的值序列，记为

其中

所述同硬盘－归一化－日志集合中的硬盘已用内存容量特征的值序列，记为

小波变换是指对所述归一化的21个smart_k^normalized特征序列、硬盘已用内存容量进行小波变换，得到高频序列，而对非数值化的采集时间硬盘序列号硬盘型号变换后字段内容不变；

小波变换的描述为：

表示小波变换映射，从同硬盘－归一化－日志集合映射为同硬盘－小波变换－日志集合；

X″表示同硬盘－归一化－日志集合所述日志集合含采集时间硬盘序列号硬盘型号硬盘、已用内存容量和特征的值序列；

Y″表示同硬盘－小波变换－日志集合DL^HD_W，所述日志集合含采集时间data^HD_W、硬盘序列号serial_number^HD_W、硬盘型号model^HD_W硬盘、已用内存容量capacity_bytes^HD_W和smart_k^HD_W特征的值序列；

步骤702，呈现变点小波的形态；

为了直观的展现变点小波，使用二维直角坐标系的方式展示变点小波在不同频率下的形态图，每张图中分别包含5张子图，从上到下依次呈现的是smart特征的归一化值、一级小波分解的近似低频信号，一级小波分解的细节高频信号，二级小波分解的细节信号，三级小波分解的细节信号，而横坐标表示硬盘的剩余寿命，纵坐标表示smart特征不同特征值。