[发明专利]一种日志关联处理方法、装置及设备

权利要求书

1.一种日志关联处理方法，其特征在于，包括：

获取日志数据之间的相似度；

将相似度大于关联阈值的日志数据划分为同一关联分类；

确定归属于同一关联分类的各个日志数据的层级；

根据日志数据归属的关联分类以及层级，生成所述日志数据分层级的关联拓扑信息；

其中，所述获取日志数据之间的相似度，包括：

提取所述日志数据的发生对象和发生具体内容；

将同一预设时间内日志数据的发生对象和发生具体内容输入到关联模型中，得到所述日志数据的相似度；

所述关联模型为LogSim (S1、S2) =α* logObject +β* logContent，

S1、S2分别指在同一预设时间内的两个不同日志数据，LogSim (S1、S2)为S1和S2的相似度，logObject为发生对象，logContent为发生具体内容，α为对象系数，β为具体内容系数。

2.根据权利要求1所述的方法，其特征在于，获取日志数据之间的相似度，包括：

对采集到的日志数据进行预处理，得到预处理后的日志数据；

计算所述预处理后的日志数据之间的相似度。

3.根据权利要求2所述的方法，其特征在于，对采集到的日志数据进行预处理，得到预处理后的日志数据，包括：

每隔预设时间，提取日志数据源中的半结构化日志数据；

将半结构化日志数据转化为结构化日志数据，并去除满足预设条件的日志数据，得到预处理后的日志数据。

4.根据权利要求2所述的方法，其特征在于，在计算所述预处理后的日志数据之间的相似度之前，还包括：

构建关联模型；

根据训练数据对所述关联模型进行训练，所述训练数据为日志数据源中的多组日志数据。

5.根据权利要求4所述的方法，其特征在于，根据训练数据对所述关联模型进行训练，包括：

根据日志评价指标以及各个日志评价指标权重，计算所述训练数据之间的参考相似度；

将所述训练数据的发生对象和发生具体内容输入到当前关联模型中，得到训练相似度；

根据公式d=，计算所述参考相似度与对应的训练相似度之间的欧式距离d，其中X₁为参考相似度，X₂为X₁对应的训练相似度；

若d满足预设范围，则训练结束；

若d不满足预设范围，则调整对象系数和具体内容系数，继续进行训练。

6.根据权利要求1所述的方法，其特征在于，确定归属于同一关联分类的各个日志数据的层级，包括：

通过日志数据对应的日志等级、日志发生频率和日志关键字，按照预设层级规则，得到当前日志数据的层级。

7.一种日志关联处理装置，其特征在于，包括：

获取模块，用于获取日志数据之间的相似度；

分类模块，用于将相似度大于关联阈值的日志数据划分为同一关联分类；

第一处理模块，用于确定归属于同一关联分类的各个日志数据的层级；

第二处理模块，用于根据日志数据归属的关联分类以及层级，生成所述日志数据分层级的关联拓扑信息；

所述获取模块包括：

第二提取单元，用于提取所述日志数据的发生对象和发生具体内容；

计算单元，用于将同一预设时间内日志数据的发生对象和发生具体内容输入到关联模型中，得到所述日志数据的相似度；

所述关联模型为LogSim (S1、S2) =α* logObject +β* logContent，

S1、S2分别指在同一预设时间内的两个不同日志数据，LogSim (S1、S2)为S1和S2的相似度，logObject为发生对象，logContent为发生具体内容，α为对象系数，β为具体内容系数。