[发明专利]一种基于在线层次聚类的日志模板抽取方法

摘要

本发明涉及一种基于在线层次聚类的日志模板抽取方法，其中，包括：进行日志预处理；对预处理后的日志进行日志在线向量化，利用分布式的词向量表示方法对日志进行在线向量化，在线层次聚类算法对原始日志聚类，生成日志模板；日志在线层次聚类包括：在聚类树中，不同类别的原始数据点是树的最低层，树的顶层是一个聚类的根节点，根节点聚类覆盖了全部的所有数据点，每个叶子节点即对应一条日志向量，任意一个内部节点对应一个类簇，类簇中的元素是以内部节点为祖先节点的所有叶子节点。本发明基于在线层次聚类的日志模板抽取方法不仅适合多源异构日志模板抽取，而且准确度更高，且单步执行时间完全能够满足在线日志分析的需要。

主权项

1.一种基于在线层次聚类的日志模板抽取方法，其特征在于，包括：进行日志预处理；对预处理后的日志进行日志在线向量化，利用分布式的词向量表示方法对日志进行在线向量化，在线层次聚类算法对原始日志聚类，生成日志模板；日志在线层次聚类包括：在聚类树中，不同类别的原始数据点是树的最低层，树的顶层是一个聚类的根节点，根节点聚类覆盖了全部的所有数据点，每个叶子节点即对应一条日志向量，任意一个内部节点对应一个类簇，类簇中的元素是以内部节点为祖先节点的所有叶子节点；日志在线层次聚类算法包括：第1步：插入新日志向量，遍历当前聚类树，比较新插入日志向量节点l’与所有已插入的所有日志向量的叶子节点的距离，找到距离最近的日志向量l；有节点被遮蔽后对树的调整，直接插入日志向量节点l’，使得日志向量节点l和日志向量节点l’有共同的父节点；对于直接插入节点对树的调整，调整树的结构，使得日志向量节点l和日志向量节点l’有共同的父节点；第2步：判断是否有节点被遮蔽，判断依据为公式(5)：其中，v′为v的兄弟节点，lvs(v′)表示内部节点v′包含的所有日志向量的集合，a为v父节点的兄弟节点，x∈lvs(v)；第3步：对聚类树中不平衡的树进行基于平衡二叉树的旋转；进行日志在线模板抽取。