[发明专利]一种日志解析的方法及装置

说明书

本申请公开了一种日志解析的方法及装置，涉及大数据技术领域，为解决现有技术中日志解析效率低的问题而发明。该方法主要包括：加载配置文件，所述配置文件包括至少一种日志类型的正则表达式和正则映射机制；从所述配置文件中，获取与日志流的日志类型对应的第一正则表达式和第一正则映射机制；根据所述第一正则映射机制，建立解析对象；判断所述日志流与所述第一正则表达式是否匹配；如果所述日志流与所述第一正则表达式匹配，则截取所述日志流中的匹配结果；将所述匹配结果填充至所述解析对象。本申请主要应用于解析日志的过程中。

技术领域

本申请涉及大数据技术领域，尤其涉及一种日志解析的方法及装置。

背景技术

日志是指有关互联网发生的实务或操作的记录。在各种网络设备中，都会将网络设备运行过程中所发生的一切记录为日志，日志被实时接收汇总，生成日志流，然后通过对日志流的解析，详细了解整个运行过程。在网络设备中，通常安装各种应用系统，各个应该系统都会生成自己的日志流，日志流的日志类型各不相同。

针对不同类型的日志流，目前针对每种不同类型的日志的解析都要各自单独编码，每添加一种日志都需要重写解析代码，即将日志解析与日志类型绑定。这样，就可以更有针对性地对不同类型的日志流进行解析。但是，随着应用系统的多样化，日志类型也会随业务的变动而不断地变化和完善，会基于某种需求而增加新的信息，这就给日志的解析带来很多问题。例如，一旦日志类型修改，就需要修改相应的日志解析系统的代码。如果为每种类型的日志都重新编写代码进行解析，会造成大量人力资源的浪费，并降低了解析效率。

发明内容

本申请提供了一种日志解析的方法及装置，以解决现有技术中日志解析效率低的问题。

第一方面，本申请提供了一种日志解析的方法，该方法包括：加载配置文件，所述配置文件包括至少一种日志类型的正则表达式和正则映射机制；从所述配置文件中，获取与日志流的日志类型对应的第一正则表达式和第一正则映射机制；根据所述第一正则映射机制，建立解析对象；判断所述日志流与所述第一正则表达式是否匹配；如果所述日志流与所述第一正则表达式匹配，则截取所述日志流中的匹配结果；将所述匹配结果填充至所述解析对象。

结合第一方面，在第一方面第一种可能的实现方式中，所述加载配置文件，包括：提取所述正则表达式对应的所述正则命名字段，所述正则命名字段的数量至少为一个；将所述正则表达式和所述正则命名字段，保存在全局配置对象中。

结合第一方面，在第一方面第二种可能的实现方式中，所述判断所述日志流与所述第一正则表达式是否匹配，包括：查找所述日志流是否包括所述正则命名字段；如果所述日志流包括所述正则命名字段，则确定所述日志流与所述第一正则表达式匹配；如果所述日志流不包括所述正则命名字段，则确定所述日志流与所述第一正则表达式不匹配。

结合第一方面，在第一方面的第三种可能的实现方式中，所述将所述匹配结果填充至所述解析对象，包括：获取所述解析对象的字段列表；查找所述匹配结果所属的正则命名字段；在所述字段列表中，查找与所述正则命名字段对应的数据填充位置；在所述解析对象的所述数据填充位置填充所述匹配结果。

结合第一方面，在第一方面的第四种可能的实现方式中，所述将所述匹配结果填充至所述解析对象之后，所述方法还包括：根据预置处理函数，处理所述解析对象。

第二方面，本申请还提供了一种日志解析的装置，所述装置包括用于执行第一方面各种实现方式中方法步骤的模块。

第三方面，本申请还提供了一种终端，包括：处理器及存储器；所述处理器可以执行所述存储器中所存储的程序或指令，从而实现以第一方面各种实现方式所述日志解析的方法。

第四方面，本申请还提供了一种存储介质，该计算机存储介质可存储有程序，该程序执行时可实现包括本申请提供的日志解析的方法各实施例中的部分或全部步骤。