[发明专利]一种日志数据监控管理方法

摘要

本发明属于数据处理技术领域，尤其涉及一种日志数据监控管理方法。本发明的日志数据监控管理方法通过分层节点布置避免了海量节点数据采集的弊端，提高数据实时处理的效率，降低日志数据管理以及监控的难度，利用分布式锁等相应结构和内容协调任务流程的管理和数据传递的过程，提高了多流程管理以及组织的效率，降低了设备负载。

主权项

1.一种日志数据监控管理方法，其特征在于，包括：用于建立规范化的日志格式的步骤，所述日志由节点区、内容区和标志区构成，节点区内存储有日志优先级、时间和代码行字节，时间采用标准的ISO8601格式；内容区用于表述日志输出目的；标志区由多各键值对构成，键值对之间相互分割；对于不符合格式要求的日志使用正则表达式进行处理；用于建立数据监控服务的步骤，包括数据采集、具体是指在需要采集的各节点构建采集层，在采集层之间的部分中心节点布置中间层，中间层收集采集层获取的数据，并根据配置数据发送至不同的KafkaTopic分组；采集层以及中间层相互配置可以实现灵活高效的系统结构，利用中间层集中处理，减少采集层文件配置的内容，同时集中管理权限，减少系统隐患；在节点设备服务异常时，中间层设备重试连接其他节点；以及，数据处理、具体是指对不同的KafkaTopic分组分别进行实时计算，根据传入的任务地址查询任务配置信息，包括Topic、任务名、任务内容，根据已配置的Topic信息创建前端数据产生器，前端数据产生器定时的访问数据库以获取最新的任务配置信息并下发至多个转发节点器，转发节点器根据更新后的任务配置信息进行更新；转发节点器中至少包括用于根据配置要求进行规则匹配过滤的第一转发节点器；用于按照键值对将数据进行组合的第二转发节点器；用于调用API将统计数据写入数据库的第三转发节点器；利用Kafka作为缓存装置，降低后置服务的压力；以及，数据监管，具体是指启动分发任务流程、设置单独的线程进行异常问题检查、在发现设备异常时将相应任务调度至其他同级，同时利用MySQL服务机制实现分布式锁，在任务调度过程中利用获取锁提高调度效率，降低设备传输存储的资源消耗；在具体实施过程中，服务器部署于多个节点之上，应用前端节点以及分发服务采用双机部署HTTP和反向代理服务，各节点之间采用分布式锁实现数据同步。