[发明专利]基于卷积神经网络的日志分类方法、系统、设备和介质

说明书

本发明提出了基于卷积神经网络的日志分类方法、系统、设备和介质，该方法包括将获取的原始日志解析为结构化数据，对结构化数据进行特征提取得到特征集，并对特征集中的冷热样本进行一次标注；将特征集按照预设的比例划分为训练集和测试集，采用训练集中的冷热样本对卷积神经网络进行训练，以及调整卷积神经网络的卷积核和训练参数；然后使用测试集验证调整后的卷积神经网络；将经过卷积神经网络训练后的日志分类管理。基于该方法，还提出了日志分类系统，设备和介质。本发明将卷积神经网络模型应用在日志分类中，同时为了应对训练样本数据不能满足海量级别，从结构和参数上对卷积神经网络进行了调整，以提升检测速度和检测准确率。

技术领域

本发明属于存储集群日志管理技术领域，特别涉及基于卷积神经网络的日志分类方法、系统、设备和介质。

背景技术

在大规模存储集群的日常运行中，随着数据访问量的增大和各种频繁的操作，大规模存储集群系统所产生的日志文件随时间逐渐开始暴增。运维和研发人员一般都是根据系统产生的日志进行系统的了解、优化以及一些问题的定位。

但是因为大多数原始的系统日志是非结构化的文本信息，不仅日志的体量大且存在大量冗余信息，这就给运维和研发人员带来了额外繁琐的工作量，出现效率底下和定位不准确的问题。

发明内容

为了解决上述技术问题，本发明提出了基于卷积神经网络的日志分类方法、系统、设备和介质。将卷积神经网络模型应用在日志分类中，同时为了应对训练样本数据不能满足海量的级别，从结构和参数上对卷积神经网络进行了调整，以期提升检测速度和检测准确率。

为实现上述目的，本发明采用以下技术方案：

基于卷积神经网络的日志分类方法，包括以下步骤：

将获取的原始日志文件解析为结构化数据，以及对所述结构化数据进行特征提取得到特征集，并对所述特征集中的冷热样本进行一次标注；

将所述特征集按照预设的比例划分为训练集和测试集，采用所述训练集中的冷热样本对所述卷积神经网络进行训练，以及调整卷积神经网络的卷积核和训练参数；然后使用测试集对所述冷热样本进行二次标注，以及验证所述调整后的卷积神经网络；

将经过卷积神经网络训练后的日志分类管理。

进一步的，所述将获取的原始日志文件解析为结构化数据的方法包括：将获取的原始日志文件通过提取日志键值的方式解析为结构化数据；所述结构化数据包括常量部分和变量部分。

进一步的，所述对所述结构化数据进行特征提取得到特征集的方法包括：

对每条日志分别提取消息计数向量、流程状态向量、用户操作功能的频度和访问热度；

将提取的消息计数向量、流程状态向量、用户操作功能的频度和访问热度组合为特征向量。

进一步的，所述将所述特征集按照预设的比例划分为训练集和测试集的方法包括：

将所述特征集按照8:2的比例分为训练集和测试集。

进一步的，，所述采用所述训练集中的冷热样本对所述卷积神经网络进行训练，以及调整卷积神经网络的卷积核和训练参数的方法包括：

采用ReLU函数作为卷积神经网络的激活函数；

如果在训练过程中，因为数据集的数量小使训练效果不佳的情况，则删除掉卷积层；以及在全连接层加入迭代训练策略。

进一步的，所述迭代的过程包括：采用反向传播，基于最小化误差的准则逐步调节各层的权值和偏置。

进一步的，所述将经过卷积神经网络训练后的日志分类管理包括：

热日志设置延长日志压缩和保留时间的策略；