[发明专利]一种日志异常检测方法及装置

权利要求书

1.一种日志异常检测方法，其特征在于，包括如下步骤：

1)将获取的日志解析为日志事件；

2)将解析得到的日志事件输入至构建的日志检测模型中，得到日志的异常检测结果；所述日志检测模型包括日志向量转化模块和结果分类模块，且所述日志检测模型利用已异常与否的日志事件以及异常与否的结果进行训练得到；

所述日志向量转化模块用于将输入的日志事件进行转化处理，得到日志事件的向量表示，所述转化处理包括：将日志事件中的每个词转换为词向量，以得到日志事件对应的向量序列，并生成每个词的区域矩阵；根据向量序列，得到日志事件的自适应上下文单元；所述上下文单元能够根据不同的上下文动态捕捉日志事件的任意区域中所有单词的语义信息；将日志事件中所有词的区域矩阵与自适应上下文中各元素相乘，得到日志事件的映射嵌入；所述日志事件的映射嵌入包含日志事件每个词的语义含义以及日志事件中任意区域内所有词的含义；根据映射嵌入，得到日志事件的区域嵌入；求取区域嵌入中各元素的和，得到日志事件的向量表示；所述每个词的区域矩阵为：

E_i-r:i+r＝[wv_i-r,…,wv_i+r]∈R^r*h，

其中，E_i-r:i+r为每个日志事件中第i个词的区域矩阵，r为区域大小，wv_i为每个日志事件中第i个词的词向量；

所述自适应上下文单元获取的方法为：将日志事件的向量序列输入到一维卷积层中，设置合适的填充方式使卷积后的长度与输入总长度相等，所述一维卷积层的窗口大小为区域矩阵的区域大小r，过滤器数量为r*h，h为向量维度；

所述结果分类模块用于根据日志事件的向量表示得到日志的异常检测结果。

2.根据权利要求1所述的日志异常检测方法，其特征在于，步骤2)中，若获取的日志为单个日志，则所述结果分类模块包括分类器，所述日志检测模型用于将所述单个日志的向量表示作为分类器的输入直接输入分类器中；若获取的日志为一个日志序列，则所述结果分类模块包括向量表示模型和分类器，所述日志检测模型用于将日志序列中各日志的向量表示输入至构建的向量表示模型中，以得到所述日志序列的向量表示，并将得到的日志序列的向量表示作为分类器的输入输入至分类器中。

3.根据权利要求2所述的日志异常检测方法，其特征在于，所述向量表示模型为Bi-LSTM模型。

4.根据权利要求1所述的日志异常检测方法，其特征在于，步骤1)中，利用日志解析器Drain将获取的日志解析为日志事件。

5.根据权利要求4所述的日志异常检测方法，其特征在于，所述日志解析器Drain采用三层的Drain解析树。

6.根据权利要求1所述的日志异常检测方法，其特征在于，步骤2)的所述转化处理中，将日志事件中的每个词转换为词向量前，还包括对日志事件进行预处理的步骤；所述预处理为：删除对语义信息提取无意义的字符标记，并将一些字符标记拆分为单独的单词。

7.根据权利要求1所述的日志异常检测方法，其特征在于，步骤2)的所述转化处理中，将向量序列输入至卷积层中，得到所述日志事件的自适应上下文单元。

8.根据权利要求1所述的日志异常检测方法，其特征在于，步骤2)的所述转化处理中，将映射嵌入进行最大池化操作，得到所述日志事件的区域嵌入。

9.根据权利要求2所述的日志异常检测方法，其特征在于，所述分类器为softmax分类器。

10.一种日志异常检测装置，其特征在于，包括存储器和处理器，所述处理器用于执行存储在存储器中的指令以实现如权利要求1～9任一项所述的日志异常检测方法。