[发明专利]一种日志关联处理方法、装置及设备

说明书

本发明提供一种日志关联处理方法、装置及设备，涉及通信技术领域。该方法包括：获取日志数据之间的相似度；将相似度大于关联阈值的日志数据划分为同一关联分类；确定归属于同一关联分类的各个日志数据的层级；根据日志数据归属的关联分类以及层级，生成所述日志数据分层级的关联拓扑信息。本发明的方案，能够在不需人为干预的情况下进行日志的关联，且更便于应用系统或运维人员根据关联的逻辑拓扑进行所需的日志检索。

技术领域

本发明涉及通信技术领域，特别是指一种日志关联处理方法、装置及设备。

背景技术

智能运维是在自动化运维基础之上，运用大数据分析、机器学习等技术，将运维已产生的有效数据进行数据处理、分析、建模等环节，其建模分析结果为运维人员提供智能化的系统分析数据和决策信息。在智能运维中，日志作为辅助运维智能化的数据源，可有效提高运维数据分析在数据多维度方面的丰富性。目前，在智能运维中，日志关联也是运维技术迈向智能化的技术实现手段之一，在不影响精准度的情况下，大量重复或相似度较高的日志告警进行关联合并，一定程度上减少日志搜索的数量，减轻运维数据分析的工作量。

目前日志内容关联的方法都是以经验统计关联为主，根据日志出现的关键信息遍历日志信息之间的关联拓扑关系，而这种关联拓扑关系的生成基本是由有经验的运维专家来构成。

这样，对于以经验统计关联为主生成的关联拓扑关系，若在日志生成过程中，日志信息不受控，且不人为去干预的情况下，就难以自动生成关联关系。

发明内容

本发明的目的是提供一种日志关联处理方法、装置及设备，能够在不需人为干预的情况下进行日志的关联，且更便于应用系统或运维人员根据关联的逻辑拓扑进行所需的日志检索。

为达到上述目的，本发明的实施例提供一种日志关联处理方法，包括：

获取日志数据之间的相似度；

将相似度大于关联阈值的日志数据划分为同一关联分类；

确定归属于同一关联分类的各个日志数据的层级；

根据日志数据归属的关联分类以及层级，生成所述日志数据分层级的关联拓扑信息。

其中，获取日志数据之间的相似度，包括：

对采集到的日志数据进行预处理，得到预处理后的日志数据；

计算所述预处理后的日志数据之间的相似度。

其中，对采集到的日志数据进行预处理，得到预处理后的日志数据，包括：

每隔预设时间，提取日志数据源中的半结构化日志数据；

将半结构化日志数据转化为结构化日志数据，并去除满足预设条件的日志数据，得到预处理后的日志数据。

其中，计算所述预处理后的日志数据之间的相似度，包括：

提取所述日志数据的发生对象和发生具体内容；

将同一预设时间内日志数据的发生对象和发生具体内容输入到关联模型中，得到所述日志数据的相似度。

其中，所述关联模型为LogSim(S1、S2)＝α*logObject+β*logContent，

S1、S2分别指在同一预设时间内的两个不同日志数据，LogSim(S1、S2)为S1和S2的相似度，logObject为发生对象，logContent为发生具体内容，α为对象系数，β为具体内容系数。

其中，在计算所述预处理后的日志数据之间的相似度之前，还包括：

构建关联模型；

根据训练数据对所述关联模型进行训练，所述训练数据为日志数据源中的多组日志数据。