[发明专利]基于日志文件的数据解析方法、系统及装置

说明书

本发明涉及网络技术领域，公开了一种基于日志文件的数据解析方法、系统及装置。所述方法包括：将数据库接入日志解析组件，以将数据库的原始日志文件解析为目标格式；基于所述目标格式的日志文件，添加与所述日志文件相对应的事件解析表达式；通过所述事件解析表达式将所述日志文件的变更解析为新事件；将解析生成的新事件输出。当需要生成新的事件或调整原有事件时，不需要侵入代码或修改代码，只需在事件中心添加或修改对应的事件解析表达式即可完成，而且不会出现事件遗漏的问题。

技术领域

本发明涉及网络技术领域，具体而言，涉及一种基于日志文件的数据解析方法、系统及装置。

背景技术

业务事件对于业务系统相当重要，向业务系统侵入业务事件的常规操作方式为：将业务事件数据写入到MySQL数据库中，建立与数据库对应的触发器；然后将数据写入触发器中，触发器向目标平台写入增量数据；业务系统通过服务框架数据库查询业务事件数据。例如，在房产信息平台中，当房产经纪人在业务系统中录入房源信息后，需要通知店东、商圈经理等来校验该房源的真实性。常规方式是在录入房源的代码中侵入产生房源录入事件的代码，添加新房源时，需重新硬编码并添加到对应的业务代码中，维护成本比较高、扩展性很差；若直接向MySQL导入房源数据或直接操作MySQL中房源数据，则不会经过业务代码处理，该数据对应的事件就会被忽略，无法通知到店东、商圈经理。

发明内容

本发明的目的是提供一种基于日志文件的数据解析方法、系统、装置以及存储介质，以解决录入事件需重新硬编码的问题以及向数据库直接操作数据会被忽略的问题。

为了实现上述目的，在本发明第一方面提供一种基于日志文件的数据解析方法，所述方法包括：

将数据库接入日志解析组件，以

将数据库的原始日志文件解析为目标格式；

基于所述目标格式的日志文件，添加与所述日志文件相对应的事件解析表达式；

通过所述事件解析表达式将所述日志文件的变更解析为新事件；

将解析生成的新事件输出。

可选地，根据所述日志文件中涉及的表的特征添加与其相对应的事件解析表达式。

可选地，通过所述事件解析表达式根据所述日志文件的新增字段、更新字段或删除字段进行判断，将某个字段的变更解析为一个新事件。

可选地，根据所述日志文件的事件输出配置信息将解析生成的新事件输出到对应的消息队列、数据库或API。

可选地，所述日志解析组件是Canal组件。

可选地，通过所述Canal组件将数据库的原始日志文件解析为JSON格式。

本发明第二方面提供一种基于日志文件的数据解析系统，所述系统包括：

数据输入层，包括日志解析组件，通过所述日志解析组件将接收到的原始日志文件解析为目标格式；

解析层，用于添加与日志文件相对应的事件解析表达式，通过所述事件解析表达式将所述日志文件的变更解析为新事件；

数据输出层，用于将解析生成的新事件输出。

可选地，所述解析层根据所述日志文件中涉及的表的特征添加与其相对应的事件解析表达式，通过任务调度器对所述日志文件中的各个表进行策略调度，派发到对应的事件解析表达式，通过所述事件解析表达式将所述日志文件中某个字段的变更解析为新事件。

本发明第三方面提供一种基于日志文件的数据解析装置，所述装置包括：存储器和处理器；

所述存储器，用于存储程序指令；