[发明专利]基于日志全语义的多特征日志异常检测方法及系统

说明书

本发明公开了一种基于日志全语义的多特征日志异常检测方法及系统，属于计算机技术领域，特别涉及计算机操作系统或软件系统中日志异常检测技术。本发明对日志数据集进行初步处理，得到日志数据集中各日志序列全部语义的日志项单词组，并将其作为日志序列的语义特征；分别提取各日志序列的类型特征、时间特征和数量特征，并同语义特征编码成各日志序列的日志特征向量集；基于所有日志特征向量集训练基于注意力机制的BiGRU神经网络模型，得到训练好的BiGRU神经网络模型。将待检测的日志数据集输入训练好的BiGRU神经网络模型进行预测，并根据预测结果区分出各日志序列是正常或异常的日志序列。本发明用于日志异常检测。

技术领域

一种基于日志全语义的多特征日志异常检测方法及系统，用于日志异常检测，属于计算机技术领域，特别涉及计算机操作系统或软件系统中日志异常检测技术。

背景技术

一般来说，大部分的程序在编写的时候都会在一些位置使用“print”功能打印具备一定格式的非结构化提示或告警信息，用于开发者或者用户了解运行状态和定位错误，我们称其为日志信息，尤其是一些大规模的系统，程序规模越大，日志消息数量以及种类则越多甚至越复杂。

由于日志消息的爆炸增长同时日志的审计又对审查人员的要求很高，因而使得人工手动审查日志消息几乎不可行。最早的通过关键词正则匹配的自动化异常检测方法很多时候只能找到那些明显的单一异常，这种方法非常局限，只有在日志中有明确的标识才有作用，也无法发现那些靠关键词无法定位的异常情况。之后的一些基于聚类分析方案在无监督的日志检测方向上是一个进步，但无法应对诸如日志模板更新、异常种类多样等很多情况。随着人工智能的兴起，逐渐出现了很多基于各类神经网络的自动和半自动的日志异常检测的优化方法，有的在日志解析上进行优化，通过使用自然语言处理的方法提取日志的语意信息进行检测；有些在模型上进行优化，这些都在传统检测模型进行改进以求更好的检测效果；还有些在特征上进行更多的处理，比如通过挖掘其他的特征来检测常规特征未能覆盖的异常。

到目前为止，数据挖掘和机器学习方法，如决策树(DT)，支持向量机(SVM)和主成分分析(PCA)已被用于提取更多相关特征。这些方法在提高精度的同时，也降低了算法的复杂度。然而，利用这些方法分析提取的特征中隐藏的关系仍然很棘手。更复杂的方法，如深度学习方法克服了这一限制。

在过去的几年里，使用深度学习方法和自然语言处理技术的日志异常检测通过利用日志中的语义关系获得了更好的准确性。Lstm和双向Lstm被广泛地运用于日志异常检测，在对数异常检测中取得了更高的准确率。基于卷积神经网络(CNN)的深度学习模型，实现了99％的精度。研究人员已经使用自编码器进行特征提取，并进一步使用DL模型进行异常识别，使用注意机制和深度学习模型，对特定的数据序列给予更多考虑。

目前比较流行的对于日志异常检测的流程主要包括日志解析、特征提取和异常检测。

由于日志大部分是一种非结构化的数据文本，文本中包含了大量的与日志的语义信息无关的干扰词，因此研究人员一般采用提取日志模板的方式，去除日志中的干扰词，将软件系统打印日志的日志模板和参数区分开来，通过分析日志模板提取出日志的语义信息，如利用启发式搜索树：Drain和Spell利用树结构解析日志到多个模板。

为了增加日志异常检测的准确性，研究人员结合了Word2Vec的方法，如LogAnomaly使用了Temp late2Vec进一步提取日志模板中的语义信息。使用了概率模型，如PLELog中，对每一个日志项先赋予一个异常和正常的概率值，将无监督学习改进为半监督或者时监督学习，提高了日志检测的准确率。

现有大部分方法是基于日志模板进行日志异常检测，采用现有技术存在如下技术问题：

1.由于软件系统不断更新，日志系统中会不断出现新的词汇(00V词)，日志的模板也会随着时间不断地改变；当日志模板提取错误时，日志异常检测的准确率也会受到影响；