[发明专利]日志收集系统和方法

说明书

本发明公开了一种日志收集系统，该系统包括：一个或多个第一服务器，一个或多个第二服务器以及监控服务器。其中，监控服务器用于实时获取各第二服务器的运行状态，并生成可用的第二服务器列表。第一服务器基于客户端发起的HTTP请求生成格式化的日志数据，监听可用的第二服务器列表，并将格式化的日志数据发送至可用的第二服务器。第二服务器接收到日志数据后，根据其所属的日志类型将其本地化存储于相应的日志文件中。本发明还公开了适于在上述日志收集系统中执行的日志收集方法。

技术领域

本发明涉及数据采集技术领域，尤其涉及一种日志收集系统和方法。

背景技术

用户对互联网的访问实际上就是对某台服务器的访问，即向服务器发起HTTP请求。当服务器被访问时，会在本地生成用户访问日志。对日志数据进行分析和挖掘可以为行业/企业带来巨大的价值。

随着互联网技术的发展和终端设备的普及，用户对服务器的访问量增大，相应地，服务器端生成的用户访问日志的数据体量也越来越大。面对海量的日志数据，简单的日志本地化采集和处理已无法满足需求，因此，需要提供一种分布式的日志收集系统。

目前比较常用的分布式日志收集系统为Flume日志收集框架。Flume以Agent为最小的独立运行单位。一个Agent由Source、Channel和Sink三大组件构成。Flume的数据流由Event(事件)贯穿始终。Event是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有header(头信息)。尽管Flume是一种高可用的分布式海量日志采集、聚合和传输的系统，但是，其在日志的分类整理和流量统计监控的实现上很不方便。例如，用Flume实现日志的分类整理时，需要由技术人员自行实现interceptor(拦截器)接口，对请求进行拦截，区分不同的日志类型，然后给每个Event添加header。此外，还需要对Channel和Sink进行配置，当日志种类很多的时候，配置很麻烦。

发明内容

为此，本发明提供一种日志收集系统和方法，以解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供一种日志收集系统，该系统包括：一个或多个第一服务器，每一个第一服务器中均存储有多个配置文件，所述配置文件适于指定每种日志类型所对应的请求路径和日志数据格式，每一个第一服务器均包括：日志生成单元，适于从客户端发起的HTTP请求中解析出请求路径，根据请求路径确定日志类型，根据该日志类型所对应的配置文件中所指定的日志数据格式将所述HTTP请求生成日志数据；第一输出单元，适于将日志数据发送至第二服务器；一个或多个第二服务器，每一个第二服务器均包括：本地化存储单元，适于接收第一服务器发送的日志数据，并根据日志数据所属的日志类型将接收到的日志数据存储于第二服务器的相应日志文件中；监控服务器，适于获取第二服务器的运行状态，生成可用的第二服务器列表；其中，第一输出单元中还包括：监听模块，适于监听所述可用的第二服务器列表，所述第一输出单元适于根据所述可用的第二服务器列表向可用的第二服务器发送日志数据。

可选地，在根据本发明的日志收集系统中，监控服务器进一步适于：每隔第一时间向每一个第二服务器发送确认信息；若在第二时间内接收到第二服务器的反馈信息，则将该第二服务器判定为可用的第二服务器，加入可用的第二服务器列表。

可选地，在根据本发明的日志收集系统中，可用的第二服务器列表包括一条或多条可用的第二服务器记录，每条可用的第二服务器记录包括IP地址和端口号信息。

可选地，在根据本发明的日志收集系统中，第一输出单元还适于：在可用的第二服务器的数量小于第一阈值时，将所述日志数据存储于第一服务器；在可用的第二服务器的数量大于等于第一阈值时，将第一服务器中已存储的日志数据和日志生成单元在当前时刻生成的日志数据发送至可用的第二服务器。