[发明专利]系统日志分类方法

说明书

本发明提供从系统日志中提取特征向量的方法，构建系统日志分类模型的方法以及系统日志分类方法。提取特征向量的方法包括：对每个类别，计算该类别关键字与系统日志的语义相似度，选取一些相似度作为系统日志在该类别下的特征向量；组合系统日志在所有类别下的特征向量以得到该系统日志的特征向量。构建模型的方法利用上述方法来提取训练数据集的特征向量，并将其作为卷积神经网络的输入以训练模型。系统日志分类方法利用上述方法来提取系统日志的特征向量，并通过模型得到分类结果。本发明可以实现高准确率和高时效的系统日志分类。

技术领域

本发明涉及日志处理和分析领域，尤其涉及系统日志分类技术。

背景技术

系统日志用于记录计算机系统中硬件、软件及系统问题，同时监视系统中发生的事件。广义的系统日志包括系统RAS日志和系统安全审计日志等，管理者可以通过查看系统日志随时掌握系统状况，检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。

当系统日志的数量日渐增多时，就很有必要将不同类别的系统日志分门别类进行整理。通过对系统日志进行分类，有助于系统管理员不断观察系统的健康状况，定位根本故障，从而进行任务调度和性能优化等。现有的系统日志分类方法包括基于密度的方法、基于聚类分析的方法、基于概率的方法以及基于模型的方法等。然而，这些分类方法的准确率和时间效率普遍不高，尤其是在对大数据集的系统日志进行分类时，这些方法在分类准确率和时间效率上都有明显地下降。

发明内容

因此，为克服上述现有技术的缺陷，本发明引入卷积神经网络(ConvolutionalNeural Network，CNN)技术来构建系统日志分类模型，以达到提升分类的准确率和时间效率的目的。

本发明的目的是通过以下技术方案实现的：

在一个方面，提供一种从系统日志中提取特征向量的方法，包括：步骤1)针对预先设定的每个类别，计算该类别下的关键字与所述系统日志的语义相似度，并且按预定规则选取预定数量的语义相似度作为所述系统日志在该类别下的特征向量；步骤2)组合所述系统日志在所有类别下的特征向量，得到所述系统日志的特征向量。

上述方法中，按预定规则选取预定数量的语义相似度作为所述系统日志在该类别下的特征向量包括：按从大到小的顺序选择预定数量的语义相似度，将所选择的语义相似度组合为所述系统日志在该类别下的特征向量；其中，所述预定数量小于或等于每个类别下的关键字的数量。

上述方法中，步骤2)可以包括：将所述系统日志在每个类别下的特征向量作为行向量或列向量，组合所述系统日志在所有类别下的特征向量，得到所述系统日志的二维的特征向量。

上述方法中，可以通过计算所述系统日志中的msg信息与关键字的编辑距离，来获得所述系统日志与所述关键字的语义相似度。

上述方法还可以包括：在步骤1)之前过滤所述系统日志中的msg信息中的噪声。上述方法还可以包括：对所述系统日志的特征向量做归一化处理。

在另一个方面，提供一种构建系统日志分类模型的方法，包括：步骤a)收集系统日志，从所收集的系统日志中获得训练数据集；步骤b)根据上述从系统日志中提取特征向量的方法对所述训练数据集中的每个系统日志提取特征向量，得到所述训练数据集中的每个系统日志的特征向量；步骤c)将所述训练数据集中的每个系统日志的特征向量作为卷积神经网络的输入，经训练得到系统日志分类模型。

上述方法还可以包括：在步骤b)之前根据所述训练数据集预先设定系统日志的类别，并且获得每个类别下的关键字。

在又一个方面，提供一种系统日志分类方法，包括：步骤i)根据上述构建系统日志分类模型的方法来构建系统日志分类模型；步骤ii)根据上述从系统日志中提取特征向量的方法对待分类的系统日志提取特征向量；步骤iii)将所提取的特征向量输入所述系统日志分类模型，由所述系统日志分类模型输出分类结果。