[发明专利]一种基于自动化监控日志的系统异常检测方法

权利要求书

1.一种基于自动化监控日志的系统异常检测方法，其特征在于，包括：

步骤S1：获取软件系统的原始日志数据，根据日志模板提取所述原始日志数据中包含的有效信息，得到初始日志集；

步骤S2：对所述初始日志集的日志信息进行规范化，得到规范日志集，分析所述规范日志集的生成特征，进行特征提取，得到对应的日志特征集合，根据日志特征把所述规范日志集划分为不同类型的行为序列，即训练日志集；

步骤S3：基于训练日志集，对相应的行为序列进行模式训练，生成对应的行为模式；

步骤S4：对实时日志流进行异常行为检测，计算异常指数，通过与异常阈值的比较判断系统状态，得出日志异常检测结果。

2.如权利要求1所述的基于自动化监控日志的系统异常检测方法，其特征在于，在步骤S2中，对所述初始日志集的日志信息进行规范化的方式包括以下至少一种：

重排不规范日志记录；

去参数化，数值型数据被替换为占位符；

调整日志结构，把跨越多行的记录调整为一行；

去除冗余字符；

把日志级别转化为数字表示。

3.如权利要求1所述的基于自动化监控日志的系统异常检测方法，其特征在于，在步骤2中，分析所述规范日志集的生成特征，进行特征提取，得到对应的日志特征集合，根据日志特征把所述规范日志集划分为不同类型的行为序列，包括：

对日志数据进行标准化和降维，并从中选出最有效的日志特征；

对选择的日志特征进行数据转换，形成日志特征集合；

选择相似度标准，找出最适合特征类型的距离函数或构造新的距离函数；

执行聚类算法，将所述规范日志集划分为不同类型的行为序列。

4.如权利要求3所述的基于自动化监控日志的系统异常检测方法，其特征在于，所述聚类算法为使用层次方法对日志数据进行聚类，采用自底向上的凝聚方式。

5.如权利要求1所述的基于自动化监控日志的系统异常检测方法，其特征在于，在步骤S3中，基于训练日志集，对相应的每一行为序列进行模式训练，生成对应的行为模式，包括：

为每个日志类型赋一个类型号，以训练日志集为输入，依次读入该训练日志集中每条日志记录，把规范化的日志映射到对应的日志类型，最后输出对应的类型号，最终的结果序列包含了一个日志时间戳和对应的类型号，将该结果序列转化为频率序列；

通过滑动窗口技术对频率序列进行遍历，提取出所有的频率子序列，作为行为子序列；

为行为子序列定义一个相似度量标准，对相同及相似的频率子序列数目进行统计，把不同类型行为子序列的形状特征及出现频率作为该类型行为序列的行为模式。

6.如权利要求1所述的基于自动化监控日志的系统异常检测方法，其特征在于，在步骤S4中，通过以下公式计算异常指数：

式中，L表示所述实时日志流构成的日志序列，表示行为序列d_i和的相异度，每个行为序列d_i对应一个行为模式集P_i，表示第x个行为模式，与d_i相似度最高的行为模式记为表示行为模式的异常值，β表示平衡因子。

7.如权利要求1所述的基于自动化监控日志的系统异常检测方法，其特征在于，设定行为模式的更新时间，当达到更新时间，则重新执行步骤S1～S3，对行为模式进行更新。