[发明专利]日志处理方法、装置、设备和存储介质

说明书

本公开实施例涉及一种日志处理方法、装置、设备和存储介质，其中，该方法可以包括：获取待处理日志，并对待处理日志进行聚类处理，得到第一预设数量的候选日志分类集合；计算每个候选日志分类集合中各日志的熵值；其中，熵值用于表征日志的信息量；根据熵值，从每个候选日志分类集合中筛选第二预设数量的日志，得到第一预设数量的目标日志分类集合；计算第一预设数量的目标日志分类集合对应的日志分布稳定度；如果日志分布稳定度大于稳定度阈值，且重新聚类得到的集合数量大于第一预设数量，则进行日志预警处理。本公开实施例减少了日志预警处理的时间延迟，基于日志分布稳定度和重新聚类得到的分类数量进行双重验证，保证了日志预警的准确性。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种日志处理方法、装置、设备和存储介质。

背景技术

系统日志通常是无结构的文本数据，在使用数据挖掘算法对系统日志建立模型训练之前，需要使用日志解析算法将原始的日志数据结构化。日志解析技术是日志挖掘的关键一环。传统的日志解析算法包括正则表达式匹配方式、基于源代码的方式、或者基于规则式的方式，这些方法对专家经验知识依赖性强，当新的日志格式出现时，解析规则容易变得不适用。因此，分析服务器日志变化并及时预警已经成为系统管理员评估系统运行状况的重要手段之一。

针对海量日志实时更新场景下，现有方案在日志预警处理过程中存在较长的时间延迟，不能满足日志预警的处理需求。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种日志处理方法、装置、设备和存储介质。

第一方面，本公开实施例提供了一种日志处理方法，包括：

获取待处理日志，并对所述待处理日志进行聚类处理，得到第一预设数量的候选日志分类集合；

计算每个候选日志分类集合中各日志的熵值；其中，所述熵值用于表征日志的信息量；

根据所述熵值，从每个候选日志分类集合中筛选第二预设数量的日志，得到所述第一预设数量的目标日志分类集合；

计算所述第一预设数量的目标日志分类集合对应的日志分布稳定度；

如果所述日志分布稳定度大于稳定度阈值，则对所述待处理日志重新进行所述聚类处理，确定重新聚类得到的集合数量；

如果所述重新聚类得到的集合数量大于所述第一预设数量，则进行日志预警处理。

第二方面，本公开实施例还提供了一种日志处理装置，包括：

日志聚类模块，用于获取待处理日志，并对所述待处理日志进行聚类处理，得到第一预设数量的候选日志分类集合；

熵值计算模块，用于计算每个候选日志分类集合中各日志的熵值；其中，所述熵值用于表征日志的信息量；

日志筛选模块，用于根据所述熵值，从每个候选日志分类集合中筛选第二预设数量的日志，得到所述第一预设数量的目标日志分类集合；

分布稳定度计算模块，用于计算所述第一预设数量的目标日志分类集合对应的日志分布稳定度；

重新聚类模块，用于如果所述日志分布稳定度大于稳定度阈值，则对所述待处理日志重新进行所述聚类处理，确定重新聚类得到的集合数量；

日志预警模块，用于如果所述重新聚类得到的集合数量大于所述第一预设数量，则进行日志预警处理。

第三方面，本公开实施例还提供了一种电子设备，包括存储器和处理器，其中：所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备实现本公开实施例提供的任一日志处理方法。