[发明专利]一种基于深度学习生成对抗网络的日志异常检测方法及其装置

权利要求书

1.一种基于深度学习生成对抗网络的日志异常检测方法，其特征在于，基于深度学习生成对抗网络模型，按下述步骤进行日志异常检测：

1） 结构化日志事件的提取

将采集的原始日志数据进行预处理转换成结构化日志，对结构化日志数据进行二次提取，得到结构化日志事件；

2)日志异常检测模型的构建

将结构化日志事件作为基于深度学习生成对抗网络中的长短期记忆网络模型的输入进行对抗训练，构建日志异常检测模型，基于对抗生成模型训练异常日志检测生成器生成一组日志事件出现的概率向量，将其输入基于生成对抗网络模型生成器生成的异常日志事件判别器，将生成对抗网络模型中异常序列日志生成器生成的异常日志序列作为输入让生成对抗网络模型中的判别器进行训练；

 3）日志异常检测

将步骤1）得到的日志事件使用训练好的生成对抗网络模型进行异常检测，使用训练完全的生成对抗网络生成器生成的日志事件集合是否与输入的真实日志事件集有交集，若存在交集中则为正常日志，否则出现异常。

2.根据权利要求1所述的一种基于深度学习生成对抗网络的日志异常检测方法，其特征在于，所述步骤1）对结构化日志数据进行二次提取使用相同的模板将非结构化日志分为日期、时间和内容，从中提取事件，得到结构化日志事件，所述结构化日志事件由时间戳、签名和参数三个要件组成。

3.根据权利要求1所述的一种基于深度学习生成对抗网络的日志异常检测方法，其特征在于，所述步骤2）基于对抗生成模型训练异常日志检测生成器生成一组日志事件出现的概率向量，具体包括：将一组日志事件序列作为深度学习的长短期记忆网络模型的输入，生成一组日志事件出现的概率向量，将其输入基于生成对抗网络模型生成器生成的异常日志事件判别器进行判别具体包括：基于深度学习长短期记忆网络模型训练异常识别的判别器，将生成器生成的一组日志事件出现的概率向量作为输入，判断概率向量是真样本还是假样本。

4.根据权利要求1所述的一种基于深度学习生成对抗网络的日志异常检测方法，其特征在于，所述步骤3）使用训练好的生成对抗网络模型进行异常检测包括历史和即将到来的系统日志通过日志解析器转换为结构化数据，从中提取成日志事件，并以历史日志事件作为训练好的生成对抗网络中生成器的输入，生成一组日志事件出现的概率向量，如果即将到来的日志事件与生成的一组日志正常事件有交集，则即将到来的事件被视为正常实例，否则该日志事件将被提醒为异常。

5.一种基于深度学习生成对抗网络的日志异常检测方法设计的日志异常检测装置，其特征在于，该日志异常检测装置包括：预处理模块、日志事件生成器模块、日志事件判别器模块、异常检测模块和告警提示模块，所述预处理模块用于对原始日志进行预处理，将非结构化日志序列转化为结构化日志，并对结构化日志数据进行二次提取，得到结构化日志事件；所述日志生成器模块将结构化日志事件数据作为输入，生成一组日志事件出现的概率向量；所述日志事件判别器模块将一组日志事件出现的概率向量作为输入进行训练，分别得到日志判别器和生成对抗网络的长短期记忆模型；所述异常检测模块将输入的非结构日志序列转换成结构化日志事件数据，并以历史日志事件作为训练好的生成对抗网络中生成器的输入，生成的一组日志事件出现的概率向量，如果即将到来的日志事件与生成的一组日志正常事件有交集，则即将到来的事件被视为正常实例，否则该日志事件将被提醒为异常；所述告警提示模块当异常检测模块若被检测的日志文件存在异常时，发送告警提示至应用负责人。

6.根据权利要求5所述的基于深度学习生成对抗网络的日志异常检测方法设计的日志异常检测装置，其特征在于，所述日志事件生成器模块对日志事件数据进行存储，包括将生成一组日志事件出现的概率向量的存储，以及第三方输入的日志事件数据的存储。

7.根据权利要求5所述的基于深度学习生成对抗网络的日志异常检测方法设计的日志异常检测装置，其特征在于，所述日志事件判别器模块在判断待检测的日志文件存在异常之前，首先判断待检测的日志文件是否为生成器生成过的正常日志，若判断为不是生成器生成过的正常日志，则将报警发送给设备观测人；若判断为待检测的日志文件存在的异常为未出现过的日志文件异常，则将未出现过的日志文件异常输出至第三方进行判断，所述第三方包括用户、云端装置 及用户与云端装置的组合。