[发明专利]一种高可靠的实时日志收集及可视化检索方法

摘要

高可靠的实时日志收集及可视化检索方法，1)设置实时日志收集架构，设有实时日志收集，日志数据加密传输，日志数据完整性检查，缺失告警，检查结果可视化系统架构；在目标日志服务器上部署Flume客户端及自定义Flume插件、Kafka集群、HDFS分布式文件系统；通过配置Flume配置文件，进行多线程的目标日志读取，并将读取的数据传输至Kafka集群；Kafka集群通过创建的分区与Kafka集群的Topic归类进行日志数据的缓存；2)日志数据完整性检查流程与算法步骤：通过自定义Flume插件在传输日志数据时，对已收集的日志文件发送检查消息，使Storm集群在对落地日志数据时，对HDFS存储的日志数据进行完整性检查；3)切片日志文件删除与缺失数据重传流程与算法步骤。

主权项

1.高可靠的实时日志收集及可视化检索方法，其特征是，步骤如下：步骤1 设置实时日志收集架构设置通用的实时日志收集架构，确保日志收集完整：设有实时日志收集，日志数据加密传输，日志数据完整性检查，缺失告警，检查结果可视化系统架构；在目标日志服务器上部署Flume客户端及自定义Flume插件、Kafka集群、Storm集群、HDFS分布式文件系统；通过配置Flume配置文件，进行多线程的目标日志读取，并将读取的数据传输至Kafka集群；Kafka集群通过创建的分区与Kafka集群的Topic归类进行日志数据的缓存，并通过配置的自动清理机制清除过期的日志数据，避免Kafka消息堆积引起磁盘存储问题；Storm集群通过提交日志数据处理Topology任务，进行Kafka消息流式消费，并写入HDFS分布式文件系统，在过程中进行日志数据完整性检查，并将检查结果写入数据库中；最后通过开源调度工具Pentaho，编写定时调度作业，进行检查结果的处理，按制定的告警策略对日志文件完整性检查失败的结果进行邮件、短信的通知，并通过报表工具QlikView，开发报表实现准实时的检查结果展示设有日志数据压缩、加密算法模块，在Flume发送数据时，进行数据加密、压缩，并在Storm中再进行数据解压、解密还原；这样一方面保证了数据的安全性，同时可以降低数据传输所需的网络带宽，而Kafka集群在本地缓存数据时，就地加密存储，多方面确保了日志数据的安全性；步骤2，日志数据完整性检查流程与算法步骤：通过自定义Flume插件在传输日志数据时，对已收集的日志文件发送检查消息，使Storm集群在对落地日志数据时，对HDFS存储的日志数据进行完整性检查，将检查结果入库，并且流式的向后传递检查结果消息；步骤3，切片日志文件删除与缺失数据重传流程与算法步骤：1)自定义Flume插件订阅Kafka数据检查Topic，解析检查结果；检查成功，则进行本地的切片日志文件清理工作，以减轻磁盘压力；2)若检查失败，则根据缺失的日志文件名以及日志文件行号信息，重新读取缺失的日志文件，以相同的日志文件数据流向管道写入Kafka集群，并在最后添加日志文件完整性检查消息，等待步骤2中的第四步；直至日志文件检查完整或者检查次数超过设定阈值；在步骤1至3下，日志文件数据的完整性有了保证；步骤4，设置实时日志可视化检索架构：设有实时日志订阅模块，实时日志解析、过滤，实时日志可视化检索系统架构；实时日志订阅模块指搭建Elasticsearch集群与Kibana，使Kibana能利用Elasticsearch的REST接口来检索存储在Elasticsearch数据；通过配置Logstash配置文件，订阅Kafka中的某一个或多个日志数据缓存的Topic，将日志数据解析、过滤后，以指定索引写入Elasticsearch；最后在Kibana Web页面通过指定的索引，自定义日志数据的实时检索、查询与分析。