[发明专利]一种日志的格式化方法、装置和存储介质

说明书

本发明涉及一种日志的格式化方法、装置和存储介质，该方法包括：设置至少一个标准字符串集合；获取日志数据；利用当前分词方式对日志数据进行分词处理，生成与当前分词方式对应的至少一个待匹配字符串；确定当前分词方式对应的待匹配字符串集合与当前分词方式对应的标准字符串集合之间的集合相似度，其中，待匹配字符串集合中保存有与当前分词方式对应的至少一个待匹配字符串；根据每种分词方式对应的集合相似度，确定与日志数据相匹配的目标分词方式；根据目标分词方式对应的目标标准字符串集合和目标分词方式对应的待匹配字符串集合，生成日志数据的格式化后的日志。本方案能够节省人力资源和时间资源。

技术领域

本发明涉及计算机技术领域，尤其涉及一种日志的格式化方法、装置和存储介质。

背景技术

目前，在互联网极度发达的时代，各种系统、安全设备和网络设备等都会产生海量的日志，而且当前的日志具有数据量大、类型丰富以及结构多变等特点，导致传统通过人力手动对每一种类别的日志进行处理和分析的难度越来越大，不仅不能及时有效的获取到日志中有价值的信息，同时也耗费了大量的人力资源和时间资源。

因此，需要提供一种日志处理方法来解决上述提到的现有技术中人力和时间成本高的问题。

发明内容

本发明要解决的技术问题在于随着日志数据的不断增加，在处理日志时需要耗费大量的人力资源和时间资源，针对现有技术中的缺陷，提供一种日志的格式化方法、装置和存储介质。

为了解决上述技术问题，本发明提供了一种日志的格式化方法，该方法包括：

设置至少一个标准字符串集合，每一个所述标准字符串集合对应一种分词方式，所述标准字符串集合中保存有至少一个标准字符串；

还包括：

获取日志数据；

针对每种所述分词方式，均执行：

利用当前分词方式对所述日志数据进行分词处理，生成与所述当前分词方式对应的至少一个待匹配字符串；

确定当前分词方式对应的待匹配字符串集合与当前分词方式对应的标准字符串集合之间的集合相似度，其中，所述待匹配字符串集合中保存有与当前分词方式对应的所述至少一个待匹配字符串；

根据每种所述分词方式对应的集合相似度，确定与所述日志数据相匹配的目标分词方式；

根据所述目标分词方式对应的目标标准字符串集合和所述目标分词方式对应的待匹配字符串集合，生成所述日志数据的格式化后的日志。

可选地，所述确定当前分词方式对应的待匹配字符串集合与当前分词方式对应的标准字符串集合之间的集合相似度，包括：

针对当前分词方式对应的待匹配字符串集合和当前分词方式对应的标准字符串集合，根据如下公式计算所述集合相似度：

其中，所述SIM用于表征所述集合相似度，所述A_ij用于表征当前分词方式对应的待匹配字符串集合中第j个字符串中的第i类字符出现的次数，所述B_ij用于表征当前分词方式对应的标准字符串集合中第j个字符串中第i类字符出现的次数，所述m用于表征当前分词方式对应的标准字符串集合中所包括的标准字符串的数量，所述n_j用于表征待匹配字符串集合和标准字符串集合中第j个字符串中所包括的字符种类的最大值。

可选地，所述根据每种所述分词方式对应的集合相似度，确定与所述日志数据相匹配的目标分词方式，包括：

确定大于或等于第一预设值的至少一个目标集合相似度；