[发明专利]日志处理方法、装置、设备和存储介质

权利要求书

1.一种日志处理方法，其特征在于，包括：

获取待处理日志，并对所述待处理日志进行聚类处理，得到第一预设数量的候选日志分类集合；

计算每个候选日志分类集合中各日志的熵值；其中，所述熵值用于表征日志的信息量；

根据所述熵值，从每个候选日志分类集合中筛选第二预设数量的日志，得到所述第一预设数量的目标日志分类集合；

计算所述第一预设数量的目标日志分类集合对应的日志分布稳定度；

如果所述日志分布稳定度大于稳定度阈值，则对所述待处理日志重新进行所述聚类处理，确定重新聚类得到的集合数量；

如果所述重新聚类得到的集合数量大于所述第一预设数量，则进行日志预警处理。

2.根据权利要求1所述的方法，其特征在于，所述计算所述第一预设数量的目标日志分类集合对应的日志分布稳定度，包括：

按照日志向量维度，将所述第一预设数量的目标日志分类集合中的日志划分至第三预设数量的日志区间；

计算每个日志向量维度下每个日志区间对应的当前日志占比；

获取每个日志向量维度下每个日志区间对应的历史日志占比；其中，所述历史日志占比是将所述第一预设数量的历史日志分类集合按照所述日志向量维度划分至所述第三预设数量的日志区间后得到；

根据所述当前日志占比和所述历史日志占比，计算每个日志向量维度下的日志分布稳定度；

计算各个日志向量维度下的日志分布稳定度的均值，作为所述第一预设数量的目标日志分类集合对应的日志分布稳定度。

3.根据权利要求1所述的方法，其特征在于，所述对所述待处理日志进行聚类处理，得到第一预设数量的候选日志分类集合，包括：

按照预设日志解析规则，确定所述待处理日志中各日志所属的勿连约束集合；

基于所述勿连约束集合，对所述待处理日志进行聚类处理，得到所述第一预设数量的候选日志分类集合；其中，属于不同勿连约束集合中的日志聚类至不同的候选日志分类集合中。

4.根据权利要求1所述的方法，其特征在于，所述根据所述熵值，从每个候选日志分类集合中筛选第二预设数量的日志，得到所述第一预设数量的目标日志分类集合，包括：

对每个候选日志分类集合中的日志按照熵值递减顺序进行排序；

基于每个候选日志分类集合中排序在前的所述第二预设数量的日志，得到所述第一预设数量的目标日志分类集合；或者，

从每个候选日志分类集合中确定所述熵值超过熵值阈值的所述第二预设数量的日志，得到所述第一预设数量的目标日志分类集合。

5.根据权利要求3所述的方法，其特征在于，所述基于所述勿连约束集合，对所述待处理日志进行聚类处理，得到所述第一预设数量的候选日志分类集合，包括：

对所述待处理日志中的各日志进行分词处理，并确定分词处理得到的各日志中所有词的词向量；

对各日志中所有词的词向量求平均，得到各日志的日志向量；

基于所述勿连约束集合和所述日志向量，对所述待处理日志进行聚类处理，得到所述第一预设数量的候选日志分类集合。

6.根据权利要求1所述的方法，其特征在于，还包括：

基于重新聚类得到的各个新日志分类集合，按照熵值从各个新日志分类集合中筛选第四预设数量的日志，得到各个新目标日志分类集合；其中，所述各个新目标日志分类集合用于用户验证聚类处理的有效性。