[发明专利]基于卷积神经网络的日志分类方法、系统、设备和介质

权利要求书

1.基于卷积神经网络的日志分类方法，其特征在于，包括以下步骤：

将获取的原始日志文件解析为结构化数据，以及对所述结构化数据进行特征提取得到特征集，并对所述特征集中的冷热样本进行一次标注；

将所述特征集按照预设的比例划分为训练集和测试集，采用所述训练集中的冷热样本对所述卷积神经网络进行训练，以及调整卷积神经网络的卷积核和训练参数；然后使用测试集对所述冷热样本进行二次标注，以及验证所述调整后的卷积神经网络；

将经过卷积神经网络训练后的日志分类管理。

2.根据权利要求1所述的基于卷积神经网络的日志分类方法，其特征在于，所述将获取的原始日志文件解析为结构化数据的方法包括：将获取的原始日志文件通过提取日志键值的方式解析为结构化数据；所述结构化数据包括常量部分和变量部分。

3.根据权利要求2所述的基于卷积神经网络的日志分类方法，其特征在于，所述对所述结构化数据进行特征提取得到特征集的方法包括：

对每条日志分别提取消息计数向量、流程状态向量、用户操作功能的频度和访问热度；

将提取的消息计数向量、流程状态向量、用户操作功能的频度和访问热度组合为特征向量。

4.根据权利要求1所述的基于卷积神经网络的日志分类方法，其特征在于，所述将所述特征集按照预设的比例划分为训练集和测试集的方法包括：

将所述特征集按照8:2的比例分为训练集和测试集。

5.根据权利要求4所述的基于卷积神经网络的日志分类方法，其特征在于，所述采用所述训练集中的冷热样本对所述卷积神经网络进行训练，以及调整卷积神经网络的卷积核和训练参数的方法包括：

采用ReLU函数作为卷积神经网络的激活函数；

如果在训练过程中，因为数据集的数量小使训练效果不佳的情况，则删除掉卷积层；以及在全连接层加入迭代训练策略。

6.根据权利要求5所述的基于卷积神经网络的日志分类方法，其特征在于，所述迭代的过程包括：采用反向传播，基于最小化误差的准则逐步调节各层的权值和偏置。

7.根据权利要求1至6任意一项所述的基于卷积神经网络的日志分类方法，其特征在于，所述将经过卷积神经网络训练后的日志分类管理包括：

热日志设置延长日志压缩和保留时间的策略；

冷日志缩短压缩周期和保留时间。

8.基于卷积神经网络的日志分类系统，其特征在于，包括预处理模块、训练模块和管理模块；

所述预处理模块用于将获取的原始日志文件解析为结构化数据，以及对所述结构化数据进行特征提取得到特征集，并对所述特征集中的冷热样本进行一次标注；

所述训练模块用于将所述特征集按照预设的比例划分为训练集和测试集，采用所述训练集中的冷热样本对所述卷积神经网络进行训练，以及调整卷积神经网络的卷积核和训练参数；然后使用测试集对所述冷热样本进行二次标注，以及验证所述调整后的卷积神经网络；

所述管理模块用于将经过卷积神经网络训练后的日志分类管理。

9.一种设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任意一项所述的方法步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的方法步骤。