[发明专利]集群日志特征提取方法、装置及存储介质

摘要

本发明涉及基架运维，提供一种集群日志特征提取方法、装置及存储介质，通过flume客户端采集服务器集群的日志，发送至数据库；对日志数据进行数据清洗，筛选出原始数据；对原始数据进行包括均值、有效值、峰值、方根幅值、波形指标、脉冲指标、峭度指标的特征值提取；将提取的特征值分别与原始数据进行皮尔逊相关系数的运算，根据计算出的相关系数与相关度阈值进行比较，高于相关度阈值则认为是有效数据，低于相关度阈值则认为是无效数据并予以剔除。本发明能有效筛选出服务器集群中各主机的生产数据的有效信息，且从有效信息中提取出生产数据的特征值，便于生产系统的故障预测和故障分类，减少生产事故的发生。

主权项

1.一种集群日志特征提取方法，应用于电子装置，其特征在于，包括以下步骤：通过flume客户端采集服务器集群的日志，发送至Hbase数据库，其中，flume客户端通过多个Agent进程对应采集服务器集群中的每台服务器的日志，Agent定时将对应的服务器上的日志数据收集并通过API接口发送到Hbase数据库；利用Hadoop对日志数据进行数据清洗，筛选出原始数据，其中原始数据至少包括服务器磁盘占用率、内存使用率、cpu占用率、业务接口调用量；对原始数据进行包括均值、有效值、峰值、方根幅值、波形指标、脉冲指标、峭度指标的特征值提取；运用皮尔逊相关系数筛选出有效特征：将提取的特征值分别与原始数据进行皮尔逊相关系数的运算，根据计算出的相关系数与相关度阈值进行比较，高于相关度阈值则是有效数据，低于相关度阈值则是无效数据，并予以剔除。