[发明专利]基于行为异常检测的日志监控方法

权利要求书

1.一种基于行为异常检测的日志监控方法，其特征在于，包括如下步骤：

日志预处理步骤：统一日志结构并将日志进行聚类处理；

日志异常检测步骤：根据日志聚类结果将日志流转化为行为序列，生成行为模式，获得实时日志流的异常指数；

所述日志异常检测步骤包括：日志流转换为行为序列步骤，生成行为模式步骤，计算实时日志流异常指数步骤；

其中，所述日志流转换为行为序列步骤包括：

步骤C1：根据聚类结果，为每一个日志类型赋一个类型号；

步骤C2：构建日志训练数据集，并把日志训练数据集转化为由时间戳和类型号组成的序列；

步骤C3：给定一个时间间隔，统计每个类型号在时间间隔中的出现次数，得到多个频率序列，即行为序列，其中每个序列对应一个日志类型。

2.根据权利要求1所述的基于行为异常检测的日志监控方法，其特征在于，所述日志预处理步骤包括日志正规化步骤和日志信息聚类步骤。

3.根据权利要求2所述的基于行为异常检测的日志监控方法，其特征在于，日志正规化步骤包括：

步骤A1：重排不规范日志记录，具体地，去除冗余字符，把跨越多行的记录调整为一行；

步骤A2：将日志级别转化为用数字表示，即为每个日志级别赋了一个数字值；

步骤A3：将日志内容去参数化，把日志中的数值参数替换为用占位符表示，统一日志结构。

4.根据权利要求3所述的基于行为异常检测的日志监控方法，其特征在于，所述日志信息聚类步骤包括：

步骤B1：使用基于全连接的凝聚层次聚类方法，把日志归类为不同类型；

步骤B2：在相似度定义方面，使用两条日志记录的编辑距离和日志级别距离作为距离定义标准；

编辑距离是指在两个字符串之间通过字符的插入、删除或替换操作，把一个字符串转换成另外一个字符串所需的最少编辑次数；

日志级别距离：是指两条日志的日志级别所赋数值差的绝对值。

5.根据权利要求1所述的基于行为异常检测的日志监控方法，其特征在于，所述生成行为模式步骤包括：

步骤D1：令行为序列集为T_i,i∈[1,N]，T_i表示第i个行为序列即频率序列，N为日志类型数；其中表示日志类型i在第i_m个时间单位的日志频率，m为序列长度；

步骤D2：定义长度k的滑动窗口，提取长度m的时间序列T_i中所有的频率子序列：其中表示日志类型i的第j个频率子序列，表示日志频率，S_i表示日志类型i包含的行为序列集，表示每一个频率子序列，即行为子序列；

步骤D3：取欧氏距离作为两条频率子序列的距离，对相同频率子序列进行统计，把不同日志类型子序列的形状特征及出现频率作为该日志类型序列的行为模式；将由子序列集S_i得到的行为模式集记为代表日志类型i的行为模式集中的每一个行为模式；

步骤D4：以子序列出现频率的倒数作为行为模式的异常值，记作其中表示日志类型i的第j个行为模式。

6.根据权利要求5所述的基于行为异常检测的日志监控方法，其特征在于，所述计算实时日志流异常指数步骤包括：

步骤E1：根据给定单位时间间隔和长为k的滑动窗口，实时截取最近k个单位时间的日志序列L，并根据不同日志类型把日志序列拆分成N个日志子序列，记作L＝{l₁,l₂...l_N}，其中每一个元素li表示一个日志子序列，对应一个日志类型；

步骤E2：把L转化为频率序列集，即行为序列集，记作C＝{c₁,c₂...c_N}，每个行为序列c_i对应一个行为模式集P_i，其中i∈[1,N]；

步骤E3：日志子序列l_i的异常指数由c_i和相似度最高的行为模式共同决定：

得到异常指数计算公式如下：

式中：AnomalyScore(l_i)表示日志子序列l_i的异常指数，AnomalyScore(L)表示当前日志流的日常指数，β是平衡因子，表示行为序列c_i和行为模式的距离，表示行为序列c_i与对应行为模式集P_i中行为模式距离的最小值，为最邻近的行为模式；

步骤E4：比较异常指数与异常阈值的大小，根据比较结果决定是否发出异常预警；所述异常阈值是由专家评估和训练集测试共同得到的异常指数的阈值，当异常指数大于等于异常阈值时，发出异常预警；当异常指数小于异常阈值时，输出异常值。