[发明专利]一种基于图结构的日志聚类方法

说明书

本发明提供一种基于图结构的日志聚类方法，包括，基于文本分词、向量相似度以及最大连通子图对日志进行聚类，获取特征库；并根据特征库中的类别特征对海量日志进行类别标记；该方法无需人工指定聚类数目，自动识别海量日志中最合适的类别数目；另外，该方法可对日志进行精准分类，为海量日志数据挖掘奠定了基础。

技术领域

本发明涉及文本聚类领域，具体涉及一种基于图结构的日志聚类方法。

背景技术

随着信息技术的飞速发展和集群规模的不断扩大，随之产生海量日志数据，然而却没有对日志数据进行有效的分析与挖掘。日志数据记录了系统的运行信息，挖掘日志数据具有重要意义，例如通过分析日志数据我们可以构建智能运维系统，完成故障定位、故障预警等功能。对日志进行精准的类别标记，是日志数据挖掘的重要方向。基于此我们通过对海量日志聚类，自动识别日志合适的类别数目。通过提取各类别特征，生成日志类别特征库，并根据特征库对新日志进行类别标记。其中，日志聚类方法的选择是重中之重。传统的聚类算法并不能完成海量日志聚类的需求。例如传统的K-Means、K-Medoid聚类算法，要求指定聚类的个数，不能自动识别日志合适的类别数目。传统的Denclue聚类算法为了得到较佳的聚类效果，需要经过不断的实验来获得合适的聚类数目，参数难以控制，计算量过大，且聚类不能保证得到真实的类别数目。因此需要探索新的日志聚类模型。

发明内容

为克服上述缺陷，本发明提供一种基于图结构的日志聚类方法，依据类别特征知识库可对日志进行分类，大大提高了面对海量日志聚类的精确度。

为了实现上述发明目的，本发明采取如下技术方案：

一种基于图结构的日志聚类方法，所述方法包括：基于文本分词、向量相似度以及对最大连通子图日志进行聚类，获取特征库；并根据特征库中的类别特征对海量日志进行类别标记。

优选的，所述获取特征库包括下述步骤：

(1)将原始日志结构化，生成结构化日志数据；

(2)构建分词库；

(3)依据词库将结构化的日志向量化；

(4)删除重复的日志向量；

(5)确定日志相似关系图，生成各个类别包含的日志向量集合；

(6)构建特征库。

进一步地，所述步骤(1)中，生成结构化日志数据包括：输入原始日志，对半结构化的原始日志按列结构化，输出结构化日志数据。

进一步地，所述步骤(2)中，构建分词库包括，输入结构化日志数据，获取所述结构化日志数据包含的所有分词，并依据预设规则删除干扰词，生成日志数据分词库，该分词库中每个分词对应一个编号；其中，

所述干扰词，包括IP地址、端口号和16进制数字。

进一步地，所述步骤(3)中，日志向量化包括，将包含日志核心内容的字段进行分词，将获取的分词与词库相匹配，并用词库中分词编号代替分词，忽略未包含在词库中的分词，并保持分词原有的相对顺序，将文本转化为向量。

进一步地，所述步骤(5)中，确定日志相似关系图包括：将去重后的日志向量映射为图中的一个点，计算点与点之间的相似度；

若两个日志向量相似，则所述日志向量之间存在一条边。

进一步地，所述判定相似度包括，设A和B分别表征两个日志向量A＝(a₁,a₂,…,a_m)，B＝(b₁,b₂,…,b_n)；LCS({A,B})为向量A和B的最长公共子序列；若该最长公共子序列的长度与日志向量A和B比值皆高于经验阈值TH，则为相似，其表达式为：