[发明专利]基于行为异常检测的日志监控方法

说明书

本发明提供了一种基于行为异常检测的日志监控方法，包括日志预处理步骤和日志异常检测步骤；所述日志预处理步骤为统一日志结构并将日志进行聚类处理；所述异常检测步骤为根据日志聚类结果将日志流转化为行为序列，生成行为模式，获得实时日志流的异常指数；比较异常指数与异常阈值的大小，根据比较结果决定是否发出异常预警。本发明中的方法从日志类型特征出发，分析不同类型的日志产生规律，通过日志信息聚类的方式解决数据量过大的问题，从而实现对日志内容的实时有效分析，且便于实现数据处理的自动化，具有很高的通用性，异常检测成功率高。

技术领域

本发明涉及软件监控技术领域，具体地，涉及一种基于行为异常检测的日志监控方法。

背景技术

如今的软件系统规模越来越庞大，结构越来越复杂，异常和错误的发生变得难以避免。目前一般有两种办法避免软件异常：一是在开发过程中做好软件异常的预防，包括良好的编程习惯，结构化、科学的软件开发流程，以及大量必不可少的单元测试、端到端测试等等；二是在系统运行过程中使用监控系统对软件状态进行实时监控，及时检测到已经发生或即将发生的异常行为，为采取对应措施留出宝贵时间。

日志监控是对软件系统运行中产生的各类日志进行采集、过滤、存储、分析、检测异常的一系列过程，是软件监控系统中的重要组成部分。通过对日志进行不同角度的分析，可以达到管理资源、检测入侵行为和软件异常、控制事务状态、进行事件取证和日志审计等目的。

已有的方案更多的是把注意力放在点异常(point anomaly)上，对日志分析来说即是指单独的一条或一段日志记录出现异常。为了进一步提高预测的准确度，在本专利中，我们引入了行为异常(behavior anomaly)这个概念。行为异常是系统发生错误或工作负载发生变化时表现出的重要特征，可以通过检测日志流中发生的行为异常来判断系统状态。

当前日志分析技术面临着一些挑战，主要表现在：

1)日志数量巨大

如今的大型网站和软件系统，其规模和复杂度都达到了前所未有的程度。考虑到日志产生的速率、处理每条日志所需要的时间以及硬件开销，现有分析技术很难实现对日志内容的实时有效分析。

2)日志结构不固定

日志不遵循特定的格式，有效负载(payload)部分仍然是由程序员手动编写的，并且可能产生不一致，给自动化处理带来不便。

3)日志系统千差万别

面向不同行业的不同业务，通用监控系统存在异常检测准确率不高。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于行为异常检测的日志监控方法。

根据本发明提供的基于行为异常检测的日志监控方法，包括如下步骤：

日志预处理步骤：统一日志结构并将日志进行聚类处理；

日志异常检测步骤：根据日志聚类结果将日志流转化为行为序列，生成行为模式，获得实时日志流的异常指数。

优选地，所述日志预处理步骤包括日志正规化步骤和日志信息聚类步骤。

优选地，日志正规化步骤包括：

步骤A1：重排不规范日志记录，具体地，去除冗余字符，把跨越多行的记录调整为一行；

步骤A2：将日志级别转化为用数字表示，即为每个日志级别赋了一个数字值；

步骤A3：将日志内容去参数化，把日志中的数值参数替换为用占位符表示，统一日志结构。

优选地，所述日志信息聚类步骤包括：

步骤B1：使用基于全连接的凝聚层次聚类方法，把日志归类为不同类型；