[发明专利]一种流式在线日志解析方法

摘要

本发明公开了一种流式在线日志解析方法，该方法利用分区的思想将日志按照其长度进行分区，即同一长度的日志被分配到同一个分区中；日志分区后，快速匹配阶段通过求取日志与日志类型的交集是否满足一个阈值，来判断日志是否属于当前的日志类型；快速匹配到日志所属的日志类型后，日志类型提取阶段通过求取日志与日志类型的最长公共子序列来提取出日志类型与日志的参数。本发明可有效解析系统日志，将日志由非结构化的文本解析为结构化的日志类型，结果可用于日志的异常检测，方法简单有效。

主权项

1.一种流式在线日志解析方法，其特征在于：包括如下步骤：步骤1：对日志文本进行预处理；步骤2：匹配分区：根据日志mi的长度来搜索是否存在匹配的分区P，如果有，则进行步骤3，如果无，则创建一个新的分区Pi，当前日志处理完毕，进行下一条日志的处理；步骤3：在分区Pi中预匹配日志mi的日志类型tki：将日志mi依次与分区Pi中的日志类型ti求取交集，如果两者的交集长度满足阈值ω，则进行步骤4，如果日志mi与分区Pi中的每一个日志类型都求取交集，并且所有的交集长度都不满足阈值ω，则日志mi被认为是Pi中的一种新的日志类型，直接将日志mi加入分区Pi中，当前日志处理完毕，进行下一条日志的处理；步骤4：提取日志mi的日志类型与参数：求取日志mi与日志类型tki的最长公共子序列，则最长公共子序列为日志mi的常量部分，日志mi中剩余部分为变量部分；之后跳转步骤1，顺序执行直至所有日志处理完毕，执行步骤5)；步骤5：合并所有分区中的日志类型：一共有n个分区P1‑Pn，依次遍历，将所有分区中的日志类型与日志类型集中的日志类型进行比较与添加之后，日志类型集包含了此日志文件所有的日志类型。