[发明专利]一种系统日志异常检测方法、装置及电子设备和存储介质

说明书

本申请公开了一种系统日志异常检测方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取原始系统日志，并将所述原始系统日志解析为结构化数据；在所述结构化数据中提取消息计数向量和流程状态向量；其中，所述消息计数向量表征包含相同通用标识的日志的消息类型特征，所述流量状态向量表征预设时间窗口内的系统行为特征；将所述消息计数向量和所述流程状态向量拼接为特征向量，并对每个所述特征向量进行日志状态的标注；基于所述特征向量和对应的标注训练神经网络模型，以便利用训练完成的神经网络模型进行系统日志异常检测。本申请提供的系统日志异常检测方法，提高了系统日志异常检测的效率。

技术领域

本申请涉及计算机技术领域，更具体地说，涉及一种系统日志异常检测方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

在存储集群日常运作中，集群运行所产生的系统日志开始暴增，对于集群的系统日志，它记录着整套系统中特定事件的强相关信息。日志的内容不仅记录着系统运行正常的信息，也记录着集群系统所产生的异常信息。从集群系统的运行状态的稳定性和安全性上来说，人们会投入更大的精力关注系统日志中异常信息。目前针对系统日志中异常检测，主要还是依靠开发人员经常用关键字搜索和规则匹配手动检查日志。

因此，如何提高系统日志异常检测的效率是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种系统日志异常检测方法、装置及一种电子设备和一种计算机可读存储介质，提高了系统日志异常检测的效率。

为实现上述目的，本申请提供了一种系统日志异常检测方法，包括：

获取原始系统日志，并将所述原始系统日志解析为结构化数据；

在所述结构化数据中提取消息计数向量和流程状态向量；其中，所述消息计数向量表征包含相同通用标识的日志的消息类型特征，所述流量状态向量表征预设时间窗口内的系统行为特征；

将所述消息计数向量和所述流程状态向量拼接为特征向量，并对每个所述特征向量进行日志状态的标注；

基于所述特征向量和对应的标注训练神经网络模型，以便利用训练完成的神经网络模型进行系统日志异常检测。

其中，将所述原始系统日志解析为结构化数据，包括：

从所述原始系统日志中提取执行路径，以便将所述原始系统日志解析为结构化数据。

其中，在所述结构化数据中提取消息计数向量，包括：

确定所述结构化数据中每条日志包含的通用标识符，并基于所述通用标识符对所有所述日志进行分类；

为每个类别创建消息计数向量；其中，所述消息计数向量的每个维度与消息类型一一对应，每个所述维度的值为对应的消息类型的日志在所述类别中的数量。

其中，在所述结构化数据中提取流程状态向量，包括：

确定所述结构化数据中每条日志包含的状态变量类型，并基于所述状态变量类型对所有所述日志进行分类；

为每个类别创建流程状态向量；其中，所述流程状态向量的每个维度与所述状态变量类型的值一一对应，每个所述维度的值为所述状态变量类型的值在所述类别中的数量。

其中，所述基于所述特征向量和对应的标注训练神经网络模型，包括：

将所有所述特征向量按照预设比例划分为训练集和测试集；其中，所述训练集和所述测试集均包括多个特征向量和对应的标注；

初始化所述神经网络模型中所有层的权值和偏置，利用所述训练集训练所述神经网络模型，并利用反向传播基于最小化误差的准则调节所述层的权值和偏置，得到训练完成的神经网络模型；