[发明专利]集群日志特征提取方法、装置及存储介质

权利要求书

1.一种集群日志特征提取方法，应用于电子装置，其特征在于，包括以下步骤：

通过flume客户端采集服务器集群的日志，发送至Hbase数据库，其中，flume客户端通过多个Agent进程对应采集服务器集群中的每台服务器的日志，Agent定时将对应的服务器上的日志数据收集并通过API接口发送到Hbase数据库；

利用Hadoop对日志数据进行数据清洗，筛选出原始数据，其中原始数据至少包括服务器磁盘占用率、内存使用率、cpu占用率、业务接口调用量；

对原始数据进行包括均值、有效值、峰值、方根幅值、波形指标、脉冲指标、峭度指标的特征值提取；

运用皮尔逊相关系数筛选出有效特征：将提取的特征值分别与原始数据进行皮尔逊相关系数的运算，根据计算出的相关系数与相关度阈值进行比较，高于相关度阈值则是有效数据，低于相关度阈值则是无效数据，并予以剔除。

2.根据权利要求1所述的集群日志特征提取方法，其特征在于，

在数据清洗过程中，采用拉依达准则剔除具有粗大误差的数据，包括以下步骤：

对日志数据x₁,x₂...,x_n，计算其算术平均值及剩余误差其中，x_i为单次Agent采集的日志数据；

计算标准偏差S_x，

若日志数据中的x_b的剩余误差v_b(1≤b≤n)，满足公式

则确定x_b是含有粗大误差值的奇异值，并剔除奇异值。

3.根据权利要求2所述的集群日志特征提取方法，其特征在于，

对日志数据的奇异值用中值替代，其中所述中值是指将各个日志数据x₁,x₂...,x_n按大小顺序排列，处于中间位置的值称为中值。

4.根据权利要求2所述的集群日志特征提取方法，其特征在于，

原始数据进行包括均值、有效值、峰值、方根幅值、波形指标、脉冲指标、峭度指标的特征值提取，其中，

有效值采用如下公式计算：

峰值采用如下公式计算：

X_p＝max(x_i)

方根幅值采用如下公式计算：

波形指标采用如下公式计算：

脉冲指标采用如下公式计算：

峭度指标采用如下公式计算：

其中，x_i为单次Agent采集的日志数据；

N为数据采集的次数；

为采集的日志数据的算术平均值；

X_rms为采集的日志数据的有效值；

X_p为采集的日志数据的峰值；

X_r为采集的日志数据的方根幅值；

X_ws为采集的日志数据的波形指标；

X_if为采集的日志数据的脉冲指标；

X_kv为采集的日志数据的峭度指标。

5.根据权利要求2所述的集群日志特征提取方法，其特征在于，皮尔逊相关系数的公式如下：

其中，x_i为单次Agent采集的日志数据；

y_i为单次Agent采集数据中提取的某一特征值；

是日志数据x₁，x₂...,x_n的算数平均值；

是y₁，y₂...,y_n的算数平均值；

N为日志数据采集的次数。