[发明专利]日志结构化信息提取方法及装置

摘要

本发明公开日志结构化信息提取方法及装置，以实现自适应自动提取日志结构化数据的目的。在本发明实施例中，上游系统可向下游系统提供日志和日志DDL文件(日志DDL文件中包含日志中结构化信息的字段解析规则和字段定义)，这样下游系统可根据日志DDL文件自动提取日志的结构化数据，后续可加载到目标数据库供后续分析。在此过程中，下游系统无需理解晦涩难懂的日志。同时，在日志格式变化或业务逻辑变化后，上游系统只需要提供新的日志DDL文件，下游系统就可以依据新的日志DDL文件对日志进行解析。因此，本发明实施例所提供技术方案能够自适应由日志格式变化或业务逻辑变化引起的字段解析规则变化。

主权项

1.一种日志结构化信息提取方法，其特征在于，包括：获取日志文件和与之相应的日志DDL文件，所述日志DDL文件中包含所述日志文件中结构化信息的字段解析规则和字段定义；根据所述字段解析规则从所述日志文件中提取出字段并存储至输出文件；生成与所述输出文件对应的字段类型说明文件；其中，所述日志DDL文件包括：字段解析规则列表；所述字段解析规则列表中包括N个字段解析规则；所述N不小于1；每一字段解析规则包括前置处理规则、提取方式、提取方法参数和解析结果字段列表；其中：所述前置处理规则可为空；所述解析结果字段列表包括至少一个解析结果字段；所述至少一个解析结果字段的排列顺序与所述字段解析规则提取的字段排列顺序一致；每一所述解析结果字段包含字段名称、字段类型和属性；所述字段名称、字段类型和属性用于表征所述字段定义；所述N个字段解析规则与N个输出文件一一对应；则所述根据所述字段解析规则从所述日志文件中提取出字段包括：针对所述日志文件中需要处理的第i行日志，依次使用所述N个字段解析规则对其进行解析，直至解析成功；i不小于0，不大于M‑1；M为所述日志文件中所包含的日志总行数；则所述存储至输出文件包括：将成功解析出的字段输出到目标文件；所述目标文件为，与解析成功的字段解析规则相对应的输出文件。