[发明专利]一种日志解析规则的生成方法在审
申请号: | 201910822081.6 | 申请日: | 2019-09-02 |
公开(公告)号: | CN110795606A | 公开(公告)日: | 2020-02-14 |
发明(设计)人: | 王平;陈宏伟 | 申请(专利权)人: | 西安交大捷普网络科技有限公司 |
主分类号: | G06F16/903 | 分类号: | G06F16/903;G06F11/07;H04L29/06 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 710075 陕西省*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 解析规则 日志解析 正则表达式 日志内容 原始日志 资源消耗 结构化 解析 文本 | ||
1.一种日志解析规则的生成方法,其特征在于,包括:
预取原始日志数据,通过分隔符将日志内容拆分为以字符串为单元的集合;
识别字符串为静态或动态,若为静态字符串则进行清除;
若为动态字符串,确定实际含义,并对每个动态字符串标识相应的中文描述;对每个动态字符串适配正则表达式;创建所述中文描述与正则表达式的映射结构;
将原始日志中的动态字符串替换为相应的正则表达式,得到日志的正则表达式;
将所述映射结构与日志正则表达式保存为解析规则。
2.根据权利要求1所述的方法,其特征在于,日志的拆分,包括:
对预取的日志内容进行比对,确定分隔符并记录其位置;按照各分隔符的位置将日志内容拆分为独立字符串组成的集合。
3.根据权利要求2所述的方法,其特征在于,所述分隔符的确定,包括:
选定样本日志,其他日志与样本日志进行逐个元素的比对,当至少两条日志的同一位置上出现相同的符号时,该符号为公共符号,记录其位置;每个元素包括一个字符,且连续的字母和/或数字视为一个元素,所述符号为除字母与数字以外的起连接或定界功能的字符;
当只有一种公共符号时,该种公共符号即为分隔符;
当具有至少两种公共符号时,根据公共符号分割的元素之间的关联性大小,确定出分隔符;所述关联性判断,包括判断该公共符号是否与其他字符作为整体使用。
4.根据权利要求3所述的方法,其特征在于,若被分隔符拆分出的字符串在日志中保持不变,则将该字符串识别为静态字符串;否则识别为动态字符串;
并记录各静态与动态字符串在日志中的位置。
5.根据权利要求4所述的方法,其特征在于,通过对比不同日志的同一位置的动态字符串内容的含义,确定该位置的动态字符串的中文描述。
6.根据权利要求5所述的方法,其特征在于,预设正则库,根据各位置的动态字符串类型,从预设的正则库中选定相应的正则表达式;所述字符串类型包括全为符号,全为字母,全为数字,以及符号、和/或字母、和/或数字的组合。
7.根据权利要求6所述的方法,其特征在于,所述映射结构为,以动态字符串的中文描述为字段名、以相应字符串的正则表达式为内容的数据表。
8.根据权利要求6任一所述的方法,其特征在于,取原始日志数据,根据记录的动态字符串位置,将动态字符串替换为对应的正则表达式,静态字符串保持不变,得到该种日志的正则表达式。
9.根据权利要求6所述的方法,其特征在于,将每个选定的正则表达式与相应的动态字符串进行匹配,若匹配成功则保存该正则表达式;若匹配失败则重新从正则库中选择正则表达式,直至与字符串匹配成功。
10.根据权利要求6所述的方法,其特征在于,通过静态字符串所属的字符串类型,匹配相应的正则表达式,清除对应的内容。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安交大捷普网络科技有限公司,未经西安交大捷普网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910822081.6/1.html,转载请声明来源钻瓜专利网。