[发明专利]一种面向模板基于Word2vec的日志异常检测方法及装置

说明书

本发明公开了一种面向模板基于Word2vec的日志异常检测方法及装置，本发明方法包括以下步骤：对原始日志进行预处理得到日志模板，对日志模板进行切割，得到日志序列；基于Word2vec求取日志模板的特征向量，其中以日志模板的ID序号作为Word2vec的输入；根据日志模板的特征向量求取日志序列的特征向量；将日志序列的特征向量进行机器学习得到异常检测模型并根据异常检测模型进行检测。本发明考虑从Word2vec处理对象为模板入手，能够减少训练数据规模。而且本发明对原始日志进行了预处理，通过预处理减少日志异常检测所消耗的时间以避免影响最终异常检测结果。

技术领域

本发明涉及日志异常检测技术领域，特别涉及一种面向模板基于Word2vec的日志异常检测方法及装置。

背景技术

目前，将词作为Word2vec(自然语言处理中一种产生词向量的语言表征模型)处理对象的日志序列(表示为在一段时间内系统按时间顺序产生的日志事件，由窗口对原始日志进行切分而得到)异常检测的步骤如下：首先将原始日志作为输入，使用Word2vec将原始日志中的每个单词映射到向量空间，使每个单词都有其相应的坐标，然后将日志事件(反映系统进行操作的消息)的坐标由该事件中所有单词坐标的质心来表示，日志序列由该序列中的所有日志事件的质心来表示，从而将形成日志序列的特征向量，最后采用机器学习判断日志序列是否异常。

但该方法还存在有以下缺陷：

(1)该方法使每一个词在向量空间中都有其相应的空间坐标，相关的词会靠近，互不相关的词在空间中距离更远，但是日志序列的特征向量由单词向量表示需要经过两次求质心操作才能得到，即通过对日志事件中的单词求一次质心得到日志事件的坐标，对日志序列中的日志事件求一次质心得到日志序列坐标。因此该方法的日志序列特征向量的表示就会存在偏差，从而影响最终异常检测的结果；其次由于系统日志序列的规模很大，进行训练时，需要针对每一个单词进行，因此计算复杂度也较高。

(2)词作为Word2vec处理对象的日志序列异常检测，其是直接将原始日志作为输入，没有对原始日志进行预处理。直接使用原始日志作为输入的缺陷有：首先，当原始日志中部分数据丢失时，使得某些日志消息不完整不能充分体现该事件所表达的内容；其次，原始日志存在部分冗余信息，以BGL数据集为例，每一条日志消息包含了时间戳，日期，结点，时间，重复结点，消息类型，组件(消息产生位置)，消息等级，语句内容等，这些不完整日志消息和冗余信息将影响日志异常检测的结果。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种面向模板基于Word2vec的日志异常检测方法及装置。

根据本发明的实施例，提供了一种面向模板基于Word2vec的日志异常检测方法，包括以下步骤：

对原始日志进行预处理得到日志模板，对所述日志模板进行切割，得到日志序列；

基于Word2vec求取所述日志模板的特征向量，其中以所述日志模板的ID序号作为所述Word2vec的输入；

根据所述日志模板的特征向量求取所述日志序列的特征向量；

将所述日志序列的特征向量进行机器学习得到异常检测模型并根据所述异常检测模型进行检测。

根据本发明的一些实施例，所述基于Word2vec求取所述日志模板的特征向量，具体包括：

基于Word2vec中的CBOW模型或Skip-gram模型求取所述日志模板的特征向量。

根据本发明的一些实施例，所述根据所述日志模板的特征向量求取所述日志序列的特征向量，具体包括：

求取所述日志序列中所有所述日志模板的特征向量的质心，得到日志序列的特征向量。