[发明专利]一种日志数据解析方法、装置及设备

说明书

本发明实施例提供了一种日志数据解析方法、装置及设备，上述方法包括：获得日志解析任务的配置信息，配置信息包括：待解析日志数据的来源、对待解析日志数据进行解析的解析规则标识；根据解析规则标识，在预先存储的解析规则对应的解析函数中，查找用于对待解析日志数据进行解析的解析函数；结合待解析日志数据的来源，调用查找到的解析函数对待解析日志数据进行解析，获得结构化的解析结果。本发明实施例技术方案可以根据程序员设置的日志解析任务配置信息，生成解析任务，从待解析日志数据的来源拉取数据，并调用预先存储的与解析规则标识对应的解析函数进行日志数据解析，从而获得结构化的解析结果。能够降低程序员工作量，提高工作效率。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种日志数据解析方法、装置及设备。

背景技术

程序在运行时，会产生大量日志数据。日志数据一般用于记录程序运行信息，从而使开发者方便开发调试，了解生产环境执行情况，并且开发者通过分析日志数据能够依据解析结果对程序进行调试，另外，开发者也能够基于日志数据进行数据解析获取所需的内容。通常日志数据都是无结构或半结构的数据，为了更便捷地对日志数据进行分析，需要对日志数据进行解析，获得有结构的数据，并将所获得的数据保存到数据仓库中。其中，无结构的数据是指数据结构不规则或不完整、没有预定义的数据模型、不方便用数据库二维逻辑表来表现的数据。

一种常见的实时日志采集及解析流程包括，程序将日志数据写入日志文件中，分布式日志采集传输系统采集日志文件中的日志数据，并将采集到的日志数据发送至分布式消息系统，当实际应用中存在对日志数据进行分析的需求时，流处理计算引擎，如SparkStreaming，从上述分布式消息系统获取日志数据，并运行程序员依据上述对日志数据进行分析的需求开发的数据解析程序，对所获取的日志数据进行解析，得到结构化的日志数据，并将得到的数据存储至数据仓库中。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：

根据对日志数据进行分析的需求不同，这就需要程序员每次编写对应的解析程序，以供流处理计算引擎在对日志数据进行解析时调用，导致程序员工作量较大。

发明内容

本发明实施例的目的在于提供一种日志数据解析方法、装置及设备，以降低程序员的工作量，提高工作效率。具体技术方案如下：

本发明实施的一方面，提供了一种日志数据解析方法，应用于流处理计算引擎，所述方法包括：

获得日志解析任务的配置信息，所述配置信息包括：待解析日志数据的来源、对所述待解析日志数据进行解析的解析规则标识；

根据所述解析规则标识，在预先存储的解析规则对应的解析函数中，查找用于对所述待解析日志数据进行解析的解析函数；

结合所述待解析日志数据的来源，调用查找到的解析函数对所述待解析日志数据进行解析，获得结构化的解析结果。

可选的，在所述根据所接收的配置信息生成日志数据解析任务的步骤之后，还包括：

将所述日志解析任务的标识和所述配置信息存储到数据库中。

可选的，在日志数据解析任务运行过程中，所述方法还包括：

检测所述日志解析任务在执行过程中是否存在故障退出的情况；

若为是，根据所述日志解析任务的标识，从所述数据库中读取所述配置信息，并返回执行所述根据所述解析规则标识，在预先存储的解析规则对应的解析函数中，查找用于对所述待解析日志数据进行解析的解析函数的步骤。

可选的，所述配置信息还包括：解析结果的验证规则标识，在所述结合所述待解析日志数据的来源，调用查找到的解析函数对所述待解析日志数据进行解析，得到结构化的解析结果之后，还包括：