[发明专利]一种高可靠的实时日志收集及可视化检索方法

说明书

高可靠的实时日志收集及可视化检索方法，1)设置实时日志收集架构，设有实时日志收集，日志数据加密传输，日志数据完整性检查，缺失告警，检查结果可视化系统架构；在目标日志服务器上部署Flume客户端及自定义Flume插件、Kafka集群、HDFS分布式文件系统；通过配置Flume配置文件，进行多线程的目标日志读取，并将读取的数据传输至Kafka集群；Kafka集群通过创建的分区与Kafka集群的Topic归类进行日志数据的缓存；2)日志数据完整性检查流程与算法步骤：通过自定义Flume插件在传输日志数据时，对已收集的日志文件发送检查消息，使Storm集群在对落地日志数据时，对HDFS存储的日志数据进行完整性检查；3)切片日志文件删除与缺失数据重传流程与算法步骤。

技术领域

本发明涉及实时日志收集与检索领域，具体而言涉及一种高可靠的实时日志收集与可视化检索方法。

背景技术

一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，服务产生的日志(应用日志、访问日志、安全日志等)因此也就散落在各服务器上。直接在日志服务器上通过grep、awk、wc命令可以实现日志信息的检索和统计。但在规模较大的场景中(数十、上百台服务，一台服务器多种日志类型，一种类型又有多个日志文件)，此方法效率低下，同时还需面临日志文件以循环覆盖方式输出，日志数据量太大如何归档、文本搜索太慢、如何多维度查询分析统计等问题。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，存储，然后再进行分析。

一个完整的集中式日志系统，需要包含以下几个主要特点：收集，能够完整地采集多种来源的日志数据；传输，能够安全、稳定、可靠地将日志数据实时传输到中央系统；存储，持久化存储日志数据；分析检索，支持自定义UI查询、分析，并快速得到结果。

目前通过现有技术Flume、Kafka、Storm、HDFS可以实现实时日志的集中式收集。Flume是一个分布式、可靠和高可用的海量日志采集、聚合和传输的日志收集系统，已支持多种数据发送方(包括Kafka)，并且支持自定义编写插件实现日志的处理及发送。Kafka是一种高吞吐量的分布式发布订阅消息系统，通过消息的生产者与消费者实现消息数据的扭转。Storm是一个分布式的、容错的实时计算系统，通过“流处理”实时地处理消息。而HDFS是Hadoop的分布式文件系统，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

ELK(Elasticsearch、Logstash、Kibana)可以实现以Web展现形式对集中的实时日志可视化查询、检索、分析。其中Elasticsearch是一个实时的分布式搜索分析引擎，它被用作全文检索、结构化搜索、分析。Logstash是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出。而Kibana是一个基于Web的图形界面，用于可视化地检索、分析、统计存储在Elasticsearch中的数据。

但设计一套综合现有技术，能够建立实时日志收集及检索平台，实现实时日志完整地收集，安全、稳定、可靠地传输，持久化存储，并能实时地可视化查询仍是一个值得解决的问题。

发明内容

本发明目的是，在以上现有技术背景下，设计一套实时日志收集及检索平台，实现实时日志完整地收集，安全、稳定、可靠地传输，持久化存储，并能实时地可视化查询、检索、分析。

为达成上述目的，本发明所采用的技术方案如下：高可靠的实时日志收集及可视化检索方法，步骤如下：

步骤1设置实时日志收集架构