[发明专利]海量错误日志的处理方法、装置、电子装置及存储介质

权利要求书

1.一种海量错误日志的处理方法，其特征在于，包括：

获取多个错误日志数据；

对所述多个错误日志数据进行过滤处理，得到多个候选错误日志；

利用机器分类模型对所述多个候选错误日志数据进行分类，得到多种类型的错误日志，并将所述多种类型的错误日志存储至预设数据库，其中，所述机器分类模型是根据预设错误日志数据和与所述预设错误日志数据对应的实检错误日志训练得到的；

其中，所述错误日志数据包括错误级别和日志内容，对所述多个错误日志数据进行过滤处理包括：

在所述多个错误日志数据中检测错误级别相同的多个第一日志数据；

从所述多个第一日志数据中选取所述日志内容一致或相似的多个第二日志数据；

从所述多个第二日志数据中筛选出一个所述第二日志数据，得到一个所述候选错误日志；

其中，从所述多个第一日志数据中选取所述日志内容一致或相似的多个第二日志数据包括：

在每一个所述第一日志数据的所述日志内容中选取预设数据区间内的日志内容对应的数据字符串；

从所述数据字符串中提取多个第一关键词，得到关键词字符串；

将所述关键词字符串与预设关键词字符串进行对比，并判断所述关键词字符串与所述预设关键词字符串的相似度是否大于预设阈值；

在判断到所述关键词字符串与所述预设关键词字符串的相似度大于预设阈值的情况下，确实所述第一日志数据为所述第二日志数据。

2.根据权利要求1所述的海量错误日志的处理方法，其特征在于，所述机器分类模型包括基于自然语言处理的机器学习模型。

3.根据权利要求1所述的海量错误日志的处理方法，其特征在于，获取多个错误日志数据包括：获取由预设消息队列发布的所述多个错误日志数据，其中，所述预设消息队列发布的所述错误日志数据包括通过日志采集器采集的预设系统产生的错误日志文件。

4.根据权利要求3所述的海量错误日志的处理方法，其特征在于，所述预设消息队列包括Kafka消息队列。

5.根据权利要求1所述的海量错误日志的处理方法，其特征在于，将所述多种类型的错误日志存储至预设数据库之后，所述处理方法还包括：查询所述多种类型的错误日志，并通过预设平台展示所述多种类型的错误日志对应的错误根源点。

6.一种海量错误日志的处理装置，其特征在于，包括：

获取模块，用于获取多个错误日志数据；

过滤模块，用于对所述多个错误日志数据进行过滤处理，得到多个候选错误日志；

处理模块，用于利用机器分类模型对所述多个候选错误日志数据进行分类，得到多种类型的错误日志，并将所述多种类型的错误日志存储至预设数据库，其中，所述机器分类模型是根据预设错误日志数据和与所述预设错误日志数据对应的实检错误日志训练得到的；

其中，所述错误日志数据包括错误级别和日志内容，对所述多个错误日志数据进行过滤处理包括：

在所述多个错误日志数据中检测错误级别相同的多个第一日志数据；

从所述多个第一日志数据中选取所述日志内容一致或相似的多个第二日志数据；

从所述多个第二日志数据中筛选出一个所述第二日志数据，得到一个所述候选错误日志；

其中，从所述多个第一日志数据中选取所述日志内容一致或相似的多个第二日志数据包括：

在每一个所述第一日志数据的所述日志内容中选取预设数据区间内的日志内容对应的数据字符串；

从所述数据字符串中提取多个第一关键词，得到关键词字符串；

将所述关键词字符串与预设关键词字符串进行对比，并判断所述关键词字符串与所述预设关键词字符串的相似度是否大于预设阈值；

在判断到所述关键词字符串与所述预设关键词字符串的相似度大于预设阈值的情况下，确实所述第一日志数据为所述第二日志数据。

7.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的海量错误日志的处理方法。

8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的海量错误日志的处理方法。