[发明专利]一种基于注意力机制的大规模系统日志异常检测方法

权利要求书

1.一种基于注意力机制的大规模系统日志异常检测方法，其特征在于，包括如下步骤：

步骤S1、数据处理阶段：提取计算机系统产生的日志信息，并对日志信息进行数据预处理，构造日志上下文组合集C；

步骤S2、对抗训练阶段：将步骤S1构造的日志上下文组合集C和真实事件输入神经网络模型中，对神经网络模型进行训练；

步骤S3、检测阶段：获取待预测的日志信息，并对待预测的日志信息进行数据预处理，构造待预测的日志上下文组合集，将待预测的日志上下文组合集输入到步骤S2中训练好的神经网络模型中生成后续子序列事件，将后续子序列事件与真实事件进行对比。

2.根据权利要求1所述的一种基于注意力机制的大规模系统日志异常检测方法，其特征在于：步骤一中，对日志信息进行数据预处理的具体步骤为：

S101、收集样本数据S＝{e₍₁₎，e₍₂₎，……，e_(l)}，其中，e_(l)表示每个日志，l表示日志的数量；

S102、使用大小为n的滑动窗口在初始序列数据S进行步长为1的滑动处理以采集数据，得到上下文组合集C＝{c₁，c₂，……，c_i}，i表示上下文组合的数量，c_i表示长度为n的日志序列{e_(i)，e_(i+1),……,e_(i+n)}。

3.根据权利要求2所述的一种基于注意力机制的大规模系统日志异常检测方法，其特征在于：在步骤S2中，神经网络模型包括生成器模型和判别器模型，对生成器模型和判别器模型采用交替更新的训练机制进行训练，具体训练方法为：

步骤S201、将步骤S1中构造的日志上下文组合集C输入至生成器中生成后续子序列事件向量；

步骤S202、将后续子序列事件和真实事件分别输入判别器模型中，由判别器模型判别后续子序列事件是否为真实事件；

步骤S203、在判别器模型进行判别过程中，判别器模型中的损失函数L_D不断更新判别器模型的参数，直到判别器模型能够判断后续子序列事件是否为真实事件时，判别器模型训练结束，进行生成器模型的训练；

步骤S204、生成器模型生成的后续子序列事件由训练好的判别器模型进行判别，判别器模型将判别结果输入至生成器模型中；

步骤S205、生成器模型根据损失函数L_G产生的模型误差，优化生成器模型生成的后续子序列事件；

其中，θ表示生成器模型的参数，为生成器模型生成的后续子序列事件的向量表示，c为生成器模型输入的日志上下文集的向量表示，e为真实事件的向量表示。

步骤S206、将生成器模型生成的后续子序列事件向量与真实事件向量分别输入至判别器模型中进行判别，当判别器模型无法辨别输入的子序列事件为生成器模型生成的后续子序列事件还是真实事件时，生成器模型训练结束，返回步骤S201继续训练判别器模型；

步骤S207、当达到设置的循环训练次数时，生成器模型和判别器模型达到平衡，得到成熟的生成器模型，训练结束。

4.根据权利要求3所述的一种基于注意力机制的大规模系统日志异常检测方法，其特征在于：在步骤S203中，判别器模型的损失函数L_D＝min_φ-(logD(e|c)+log(1-D(e|c)))，其中，φ表示判别器模型的参数，D表示判别器模型，e为真实事件的向量表示，c为生成器模型输入的日志上下文组合集的向量表示。

5.根据权利要求3所述的一种基于注意力机制的大规模系统日志异常检测方法，其特征在于：在步骤S205中，生成器模型的损失函数其中，θ表示生成器模型的参数，为生成器模型生成的后续子序列事件的向量表示。

6.根据权利要求5所述的一种基于注意力机制的大规模系统日志异常检测方法，其特征在于：生成器模型由三层神经网络构成，依次为：长短期记忆神经网络层、注意力神经网络层和全连接网络层。

7.根据权利要求6所述的一种基于注意力机制的大规模系统日志异常检测方法，其特征在于：判别器模型由两层神经网络构成，依次为：长短期记忆神经网络层和全连接网络层。