[发明专利]一种基于深度学习生成对抗网络的日志异常检测方法及其装置

说明书

本发明公开了一种基于深度学习生成对抗网络模型的日志异常检测方法及其装置，其特点是方法包括：采集原始日志数据，并将收集的日志数据转换为结构化日志事件；将结构化日志事件作为基于深度学习生成对抗网络中的长短期记忆网络模型的输入进行对抗训练；使用训练完全的生成对抗网络生成器进行日志异常检测等步骤；装置包括：预处理模块、日志事件生成器模块、日志事件判别器模块、异常检测模块和告警提示模块。本发明与本发明与现有技术相比具有提高日志异常检测的粒度，减轻正常和异常实例之间不平衡的影响，大大提高了检测异常的性能，较好地解决了异常检测粒度高和异常日志数据少的问题，具有良好的应用前景。

技术领域

本发明涉及日志异常检测技术领域，特别涉及一种基于深度学习生成对抗网络的日志异常检测方法及其装置。

背景技术

随着跟踪系统状态并记录有价值事件的系统日志构成了我们日常生活中任何计算机系统的重要组成部分。每个日志都包含正常和异常实例，以帮助管理员诊断和维护系统的操作。如果管理员不能有效地检测和消除多样化和复杂的异常，运行工作流和事务，系统会很快崩溃。因此，异常检测技术变得越来越重要，引起了很多研究关注。

现有技术的异常检测方法集中于分析日志，即会话的高级粒度的异常检测，而不是检测日志级异常，削弱了响应异常的效率和系统故障的诊断，并且由于日志数据中异常占比很少，对于模型训练效果不好。

发明内容

本发明的目的是针对现有技术的不足而提供的一种基于深度学习生成对抗网络的日志异常检测方法及其装置，采用引入生成对抗网络模型的方法，将重要的日志信息进行了分离然后再进行模型训练，训练出的模型进行检测是日志级别的，将结构化日志事件作为基于深度学习生成对抗网络中的长短期记忆网络模型的输入进行对抗训练的方法，使用训练完全的生成对抗网络生成器生成的日志事件集合是否与输入的真实日志事件集有交集，若存在交集中则为正常日志，否则出现异常，方法具体包括：结构化日志事件提取、日志异常检测模型构建、日志异常检测等步骤，采用本发明设计的装置包括预处理模块、日志事件生成器模块、日志事件判别器模块、异常检测模块和告警提示，本发明有效考虑用深度学习生成对抗网络模型，模型训练效果好，能够互相对抗学习提升长短期记忆网络的效果，由于生成对抗网络中生成器的可以生成日志，同时减少了所需要的日志数据规模，较好地解决了异常检测粒度高和异常日志数据少的问题，具有良好的应用前景。

实现本发明目的的具体技术方案是：一种基于深度学习生成对抗网络的日志异常检测方法，其特点是基于深度学习生成对抗网络模型，按下述步骤进行日志异常检测：

1)将原始日志进行预处理转换成结构化日志，对结构化日志数据进行二次提取，得到结构化日志事件。

2)将结构化日志事件作为生成对抗网络模型中异常日志序列生成器的输入生成异常日志序列。

3)将生成对抗网络模型中异常序列日志生成器生成的异常日志序列作为输入让生成对抗网络模型中的判别器进行训练。

4)将得到的所述生成对抗网络模型对输入的日志数据进行异常检测。

所述步骤1)对结构化日志数据进行二次提取使用相同的模板将非结构化日志分为日期、时间和内容，然后从这些部分进一步提取成日志事件，最后转换成结构化日志事件序列，所述结构化日志事件由时间戳、签名和参数三个要件组成。

所述步骤2)将结构化日志事件作为生成对抗网络模型中异常日志序列生成器的输入生成异常日志序列，具体包括：基于深度学习长短期记忆网络模型生成一组日志事件出现的概率向量的过程，即使用长短期记忆模型作为生成对抗网络的机器学习对象，将一组日志事件序列作为深度学习的长短期记忆网络模型的输入，生成一组日志事件出现的概率向量。