[发明专利]日志结构化信息提取方法及装置

说明书

本发明公开日志结构化信息提取方法及装置，以实现自适应自动提取日志结构化数据的目的。在本发明实施例中，上游系统可向下游系统提供日志和日志DDL文件(日志DDL文件中包含日志中结构化信息的字段解析规则和字段定义)，这样下游系统可根据日志DDL文件自动提取日志的结构化数据，后续可加载到目标数据库供后续分析。在此过程中，下游系统无需理解晦涩难懂的日志。同时，在日志格式变化或业务逻辑变化后，上游系统只需要提供新的日志DDL文件，下游系统就可以依据新的日志DDL文件对日志进行解析。因此，本发明实施例所提供技术方案能够自适应由日志格式变化或业务逻辑变化引起的字段解析规则变化。

技术领域

本发明涉及计算机领域，特别是涉及日志结构化信息提取方法及装置。

背景技术

日志数据是大数据的重要组成部分。日志数据的分析在网站用户行为分析、系统运维统计等方面都是必不可少的。把日志的结构化信息提取出来，再基于提取后的结构化数据进行分析的方法被普遍接受。

目前日志结构化信息的提取方法不够灵活，基本都是针对某种具体的日志需要进行编码提取结构化信息。不同的日志格式需要进行不同的编码工作，对于同一日志，由日志格式或业务变化引起的变更也需要修改相应的代码，无法自适应其变化。

发明内容

本发明实施例的目的是提供日志结构化信息提取方法及装置，以实现自适应自动提取日志结构化数据的目的。

为实现上述目的，本发明提供了如下方案：

一种日志结构化信息提取方法，包括：

获取日志文件和与之相应的日志DDL文件，所述日志DDL文件中包含所述日志文件中结构化信息的字段解析规则和字段定义；

根据所述字段解析规则从所述日志文件中提取出字段并存储至输出文件；

生成与所述输出文件对应的字段类型说明文件。

一种日志结构化信息提取装置，包括：

获取单元，获取日志文件和与之相应的日志DDL文件，所述日志DDL文件 中包含所述日志文件中结构化信息的字段解析规则和字段定义；

任务单元，用于根据所述字段解析规则从所述日志文件中提取出字段并存储至输出文件；

第一生成单元，用于生成与所述输出文件对应的字段类型说明文件。

在本发明实施例中，上游系统可向下游系统提供日志DDL文件，这样下游系统可根据日志DDL文件自动提取日志的结构化数据，后续可加载到目标数据库供后续分析。在此过程中，下游系统无需理解晦涩难懂的日志。同时，在日志格式变化或业务逻辑变化后，上游系统只需要提供新的日志DDL文件，下游系统就可以依据新的日志DDL文件对日志进行解析。因此，本发明实施例所提供技术方案能够自适应由日志格式变化或业务逻辑变化引起的字段解析规则变化，如分隔符变化、字段增减、字段位置变化等。只要结构化数据的数据接口不变，就不会对下游系统有影响，下游系统也就不需要做任何修改。此方案，对于分隔符变化和字段位置变化的情况，完全可以保持结构化数据的数据接口不变，也就是说这些变化对下游系统而言是透明的。对于字段增减的情况，其实数据接口已经发生改变，但是此方案仍然能够自适应地提取结构化数据，如果下游系统没有使用到受影响的字段，也不需要做任何修改。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1-4为本发明实施例提供的日志结构化信息提取方法示例性流程图；

图5、6为本发明实施例提供日志结构化信息提取装置结构示意图。