[发明专利]一种基于自动化监控日志的系统异常检测方法

说明书

本发明提供一种基于自动化监控日志的系统异常检测方法，包括：获取软件系统的原始日志数据，根据日志模板提取原始日志数据中包含的有效信息，得到初始日志集；对初始日志集的日志信息进行规范化得到规范日志集，分析规范日志集的生成特征，进行特征提取，得到训练日志集；基于训练日志集，对行为序列进行模式训练生成对应的行为模式；对实时日志流进行异常行为检测，计算异常指数，通过与异常阈值的比较判断系统状态，得出日志异常检测结果。本发明克服了现有异常检测方法中判别准确性和泛化能力较低、提高了检测准确率，一定程度上解决了处理大量日志数据、日志结构不统一的问题，能够及时对系统可能发生的异常做出准确的预测。

技术领域

本发明涉及软件系统的异常检测与故障预警技术领域，具体涉及一种基于自动化监控日志的系统异常检测方法。

背景技术

随着计算机技术和互联网的飞速发展，人们已经进入了一个信息量极为丰富、数据量极为海量的大数据时代。如今的软件系统规模越来越庞大，结构越来越复杂，异常和错误的发生变得难以避免。软件异常充斥在软件开发的每个阶段，并且包含在最终交付的软件产品中。现今,分析系统日志已经成为判断系统是否出现异常的最主要的手段。系统日志蕴含的丰富信息可以帮助系统开发人员和维护人员更好地理解系统行为并在生产过程中检测和定位系统异常。

对于软件系统自动异常检测这一领域，近年来已经有了许多研究与积累，但仍难以满足现实应用环境的需求。具体表现在：(1)软件系统之间在行为、输入、输出等方面有很大差别，目前提出的一些自动异常检测方法往往只对某一类的系统比较有效，通用的异常检测方法难以在多数系统上都达到较好的检测效果；(2)现代软件系统构建在以云计算为代表的新一代技术之上，有很强的横向扩展能力，包含成千上万个计算节点的分布式系统已不鲜见，并发度非常高，而传统的自动异常检测方法多专注于检测单一节点(服务)的故障；(3)目前的自动异常检测方法大多很不直观，极少数能够提供关于异常的有意义的信息，在报告异常之后不能为系统检测人员诊断异常提供更多帮助。

基于日志的异常检测方法，对原始日志文件中的非结构化数据的解析为基础。现有的研究主要分为：基于统计的方法、基于分类的方法、聚类分析方法、基于信息理论的方法和基于图模型的方法。其中，基于统计的日志异常检测方法是基于设计出一个统计模型，即先给数据们创建一个模型，根据对象拟合模型的情况来评估对象有多大可能符合该模型，但是，如果选择了错误的模型，则对象很可能被错误地判为异常点；基于分类的日志异常检测方法，分类主要是一种有监督的方法，通过已有的训练样本，即已知数据及其对应的输出，去训练得到一个最优模型，再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的。基于有监督式学习的异常检测方法的最大的缺点不在于技术层面，而在于其需要大量有标记的训练数据，获取有标记数据的成本很高，这在很大程度上限制了基于有监督式学习的异常检测方法的应用范围。基于聚类的日志异常检测方法即将相似的数据实例聚成一类，聚类主要是一种经典的、无监督的机器学习方法，聚类方法的前提假设为正常的日志数据实例属于日志数据实例数量大且密度高的类，异常的日志数据实例属于日志数据实例数量小且密度低的类，然而，基于聚类的异常检测准确率不稳定并且难以在大规模的日志文件上进行应用。基于信息理论的日志异常检测方法的基础假设是为异常的日志数据将会导致整个日志数据在信息量上的不规则性，不同的基于信息理论的方法使用不同的信息理论的度量方法，例如柯尔莫哥洛夫复杂度、熵、相对熵等去分析数据集合的信息量。基于图模型的日志异常检测方法最重要的是要构造出能够很好地代表正常行为的有限自动状态机，然后将日志数据与这个有限自动状态机进行匹配，如果这个状态机不能匹配到某些日志数据，那么这些日志数据就很可能是异常的日志数据。

发明内容

本发明的目的是提供一种基于自动化监控日志的系统异常检测方法。

为了达到上述目的，本发明通过以下技术方案实现：

一种基于自动化监控日志的系统异常检测方法，包括：