[发明专利]一种日志管理系统、方法及装置

说明书

技术领域

本发明实施例涉及互联网的技术领域，尤其涉及一种日志管理系统、方法及装置。

背景技术

过去十年来，随着分布式系统的发展，日志数据管理起来更加复杂。如今，系统中可以容纳数以千计的服务器实例或者微服务容器，而所有这些实例或容器又会生成自己的日志数据。随着以云为基础的系统快速出现并占据主导地位，由机器所生成的日志数据呈爆炸性增长。

目前传统的收集日志方法，在后端生成日志后，通过scp命令上传、下载或通过rsync命令定时同步等方式收集汇总，然后通过机器脚本分析、或者人工观察统计、或者图形绘制等方式来分析，这种方法的实时性较差。而日志管理随之成为现代化IT运营中的重要任务，为包括调试、生产监控、性能监控、支持援助与故障查找之类的许多用例提供辅助支撑。处理这些日志需要特定的日志管理解决方案，一般而言，日志管理解决方案需要解决以下特征：

(1)低耦合：构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；

(2)高吞吐：支持高吞吐、低延迟、近实时数据持久化操作和大量小文件的存储；

(3)具有高可扩展性：即：当系统操作量增加时，可以通过增加节点进行水平扩展；

(4)具有高可用：当节点出现故障时，日志能够被传送到其他节点上而不会丢失。

发明内容

本发明实施例的目的在于提出一种日志管理系统、方法及装置，旨在解决如何快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。

为达此目的，本发明实施例采用以下技术方案：

第一方面，一种日志管理系统，所述系统包括：Kafka、Flume和Jstorm；

所述K afka，用于根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；

所述Flume，用于从所述Topic中读取日志数据，读取所述日志数据并进行HDFS的数据持久化操作；

所述Jstorm，用于从所述Topic中读取日志数据，读取所述日志数据并进行HDFS的数据持久化操作。

第二方面，一种日志管理方法，所述方法包括：

Kafka根据不同的业务定义日志格式和Hbase表，并根据所述日志格式将日志数据发送到KafkaCluster的Topic中；

Flume和Jstorm从所述Topic中读取日志数据；

所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作；

优选地，所述根据不同的业务定义日志格式和Hbase表，包括：

根据不同的业务定义日志格式，并在所述Kafka中定义不同的Topic，所述Topic用于收发日志；

根据业务需要定义所述Hbase表，所述Hbase表用于避免造成热点写/读。

优选地，所述Flume读取所述日志数据并进行HDFS的数据持久化操作，包括：

从所述Flume中读取所述日志数据并传输到Hbase表中，未做ETL的数据需数据持久化操作到HDFS中。

优选地，所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作，包括：

所述JStorm从所述KafkaCluster中获取所述日志数据并通过预设算法计算后将复杂业务逻辑数据持久化操作到RDBMS中；

从所述Jstorm中分析的日志数据持久化操作到所述RDBMS中后，由Sqoop组件进行所述HDFS的数据持久化操作。

优选地，所述Flume和所述Jstorm读取所述日志数据并进行HDFS的数据持久化操作之后，包括：

采用MapReduce进行分析提取数据持久化操作后的数据；

若所述数据持久化操作后的数据量小于预设第一数据量阈值，则采用Sqoop重新提交到RDBMS中；

若所述数据持久化操作后的数据量大于预设第二数据阈值，则采用Solr、ES全文数据库做查询支撑。

第三方面，一种日志管理装置，所述装置包括：

定义模块，用于根据不同的业务定义日志格式和Hbase表；

发送模块，用于根据所述日志格式将日志数据发送到KafkaCluster的Topic中；

读取模块，用于从所述Topic中读取日志数据；

第一处理模块，用于读取所述日志数据并进行HDFS的数据持久化操作；