[发明专利]一种高性能日志管理系统

说明书

本发明涉及一种高性能日志管理系统，包括日志采集模块，作为前端模块，主要负责提供日志采集的方法，以及发送采集的信息到后台；日志过滤模块，对采集的日志进行规则过滤，对日志信息进行清洗，同时将采集的日志发送到存储库中；日志存储模块，负责日志的存储，提供快速的检索能力以及容灾备份能力。整套系统在linux下部署，提供集群环境。

技术领域

本发明涉及计算机操作系统开发技术领域，具体涉及一种操作系统运行过程中的日志管理系统。

背景技术

日志系统将系统运行的每一个状况信息都使用文字或者日志的方式记录下来。这些信息可以理解为设备或是普通人在虚拟世界的行为的记录和投影。这些信息有助我们观察系统运行过程中的正常状态和系统运行错误时快速定位错误位置的途径等。日志的类型很多，主要包括系统日志、应用程序日志和安全日志，还包括很多数据库的日志，等等。每条日志都记载着时间戳、相关设备名称、使用者及操作行为等相关的描述，系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，及时分析相关问题、追查错误根源纠正错误。因此构建一套高性能的日志系统尤为关键。

发明内容

本发明的目的是针对大数据系统的特点，设计一套高可靠、高并发、高性能的日志管理系统。

本发明的技术方案如下：

一种高性能日志管理系统，其特征在于，包括以下模块：

(1)日志采集模块：作为前端模块，主要负责提供日志采集的方法，以及发送采集的信息到后台；采集可分为有客户端以及无客户端两种，有客户端要求占用资源较少，对业务影响较小，该方式是主动采集业务日志，业务不需要感知，只需要按照格式要求输出日志即可；无客户端采集，对业务模块侵入较多；

(2)日志过滤模块：主要是对采集的日志进行规则过滤，对日志信息进行清洗，同时将采集的日志发送到存储库中；

(3)日志存储模块：主要负责日志的存储，提供快速的检索能力以及容灾备份能力。

在本发明的一种应用实施例中，日志系统作为独立的模块，承担着整个字体的日志管理工作，比较好的达到项目的性能需求。

附图说明

图1是本发明的系统结构图。

具体实施方式

如图1所示，本发明包括以下模块：

(1)日志采集模块：

日志采集模块作为前端模块，主要负责提供日志采集的方法，以及发送采集的信息到后台。采集可分为有客户端以及无客户端两种，有客户端要求占用资源较少，对业务影响较小，该方式是主动采集业务日志，业务不需要感知，只需要按照格式要求输出日志即可；无客户端采集，对业务模块侵入较多。建议采用有客户端采集。

(2)日志过滤模块：

日志过滤模块主要是对采集的日志进行规则过滤，对日志信息进行清洗，同时将采集的日志发送到存储库中。

(3)日志存储模块：

日志存储模块主要负责日志的存储，提供快速的检索能力以及容灾备份能力。

整套系统在linux下部署，提供集群环境。