[发明专利]一种日志解析方法及装置

说明书

本申请提供一种日志解析方法及装置，该方法包括：获取待解析日志数据；确定待解析日志数据的目标唯一标识；根据目标唯一标识获取目标日志解析规则；根据目标日志解析规则和预设的模式匹配算法对待解析日志数据进行解析，得到解析数据。可见，该方法及装置能够快速确定解析规则并对日志进行解析，不需要逐个遍历每条规则，从而提升了日志解析效率。

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种日志解析方法及装置。

背景技术

目前，随着时代的发展，用户的计算机网络正变得变来越庞大，也变得越来越敏感。运营商、金融企业、学校等机构对边界防火墙的行为记录要求是必不可少的，在网络发生问题时，解析日志数据可以追踪事件源等。现有的日志解析方法，通常先定义一套正则表达式规则集，在接收到日志后，去逐个匹配每一个正则表达式，当匹配到相应规则后，使用该规则提取出所需要到信息，进而达到日志格式化的目的，进而完成统一存储。然而，在实践中发现，在接收到一条日志后，会逐个遍历每条规则进行匹配，当系统维护的规则较多时，会导致规则匹配时间长，从而降低了日志解析效率。可见，现有方法需要逐个遍历每条规则，规则匹配时间长，从而降低了日志解析效率。

发明内容

本申请实施例的目的在于提供一种日志解析方法及装置，能够快速确定解析规则并对日志进行解析，不需要逐个遍历每条规则，从而提升了日志解析效率。

本申请实施例第一方面提供了一种日志解析方法，包括：

获取待解析日志数据；

确定所述待解析日志数据的目标唯一标识；

根据所述目标唯一标识获取目标日志解析规则；

根据所述目标日志解析规则和预设的模式匹配算法对所述待解析日志数据进行解析，得到解析数据。

在上述实现过程中，该方法可以优先获取待解析日志数据；并确定待解析日志数据的目标唯一标识；再根据目标唯一标识获取目标日志解析规则；可见，该方法可以基于获取到的待解析日志数据的目标唯一标识快速确定其解析规则，从而以此来避免传统遍历每条规则进行匹配的方式，进而有利于提高日志解析效率。再确定目标日志解析规则之后，该方法可以根据目标日志解析规则和预设的模式匹配算法对待解析日志数据进行解析，得到解析数据。可见，该方法可以再确定了日志解析规则之后快速对其进行日志解析，从而大幅提高日志解析的效率。

进一步地，在所述获取待解析日志数据之前，所述方法还包括；

根据预设的标识码生成规则为每个生成的日志数据确定对应的唯一标识；

为每个所述唯一标识配置对应的日志解析规则。

在上述实现过程中，该方法可以在获取待解析日志数据之前，根据预设的标识码生成规则为每个生成的日志数据确定对应的唯一标识；并为每个唯一标识配置对应的日志解析规则。可见，该方法可以基于唯一标识确定对应的日志解析规则，从而以此来避免对规则的遍历，进而有利于实现规则的快速定位。

进一步地，所述根据所述目标日志解析规则和预设的模式匹配算法对所述待解析日志数据进行解析，得到解析数据，包括：

根据所述目标日志解析规则从所述待解析日志数据中提取字符串关键信息；

采用预设的模式匹配算法遍历所述字符串关键信息，确定出所有变量信息；

根据所述所有变量信息生成解析数据。

进一步地，所述根据所述目标日志解析规则从所述待解析日志数据中提取字符串关键信息，包括：

以所述目标日志解析规则为参考，逐个比对所述待解析日志数据中的每个字符得到比对结果；

根据所述比对结果和所述目标日志解析规则，从所述待解析日志数据中提取字符串关键信息。