[发明专利]一种日志数据解析方法、装置及设备

权利要求书

1.一种日志数据解析方法，其特征在于，应用于流处理计算引擎，所述方法包括：

获得日志解析任务的配置信息，所述配置信息包括：待解析日志数据的来源、对所述待解析日志数据进行解析的解析规则标识；

根据所述解析规则标识，在预先存储的解析规则对应的解析函数中，查找用于对所述待解析日志数据进行解析的解析函数；

结合所述待解析日志数据的来源，调用查找到的解析函数对所述待解析日志数据进行解析，获得结构化的解析结果。

2.如权利要求1所述的方法，其特征在于，在所述根据所接收的配置信息生成日志数据解析任务的步骤之后，还包括：

将所述日志解析任务的标识和所述配置信息存储到数据库中。

3.如权利要求2所述的方法，其特征在于，在日志数据解析任务运行过程中，所述方法还包括：

检测所述日志解析任务在执行过程中是否存在故障退出的情况；

若为是，根据所述日志解析任务的标识，从所述数据库中读取所述配置信息，并返回执行所述根据所述解析规则标识，在预先存储的解析规则对应的解析函数中，查找用于对所述待解析日志数据进行解析的解析函数的步骤。

4.如权利要求1所述的方法，其特征在于，所述配置信息还包括：解析结果的验证规则标识，在所述结合所述待解析日志数据的来源，调用查找到的解析函数对所述待解析日志数据进行解析，得到结构化的解析结果之后，还包括：

根据所述验证规则标识，在预先存储的验证规则对应的验证函数中，查找用于对所述结构化的解析结果进行验证的验证函数；

调用查找到的验证函数对所述结构化的解析结果进行验证。

5.如权利要求1所述的方法，其特征在于，所述配置信息还包括：解析结果的存储位置；

在所述结合所述待解析日志数据的来源，调用查找到的解析函数对所述待解析日志数据进行解析，获得结构化的解析结果之后，还包括：

将所述结构化的解析结果存储至所述解析结果的存储位置。

6.如权利要求1-5中任一项所述的方法，其特征在于，所述解析规则包括以下规则中的至少一种：

从日志数据中抽取与预设正则表达式相配的数据；

抽取JSON格式的日志数据中指定域的数据；

从日志数据中抽取访问目标URL而产生的数据，所述目标URL为：预设URL参数列表中的URL；

将日志数据中的时间戳转换为时间文本；

将日志数据中的时间文本转换为时间戳；

将日志数据中的IP地址转换为地域信息；

抽取日志数据中的字符串。

7.一种日志数据解析装置，其特征在于，应用于流处理计算引擎，所述装置包括：

获取模块，用于获得日志解析任务的配置信息，所述配置信息包括：待解析日志数据的来源、对所述待解析日志数据进行解析的解析规则标识；

查找模块，用于根据所述解析规则标识，在预先存储的解析规则对应的解析函数中，查找用于对所述待解析日志数据进行解析的解析函数；

解析模块，用于结合所述待解析日志数据的来源，调用查找到的解析函数对所述待解析日志数据进行解析，获得结构化的解析结果。

8.如权利要求7所述的装置，其特征在于，所述装置还包括：

存储模块，用于将所述日志解析任务的标识和所述配置信息存储到数据库中。

9.如权利要求8所述的装置，其特征在于，所述装置还包括：

检测模块，用于检测所述日志解析任务在执行过程中是否存在故障退出的情况，若为是，触发读取模块；

所述读取模块，用于根据所述日志解析任务的标识，从所述数据库中读取所述配置信息，并触发所述查找模块。

10.一种日志数据解析设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。