[发明专利]日志收集系统和方法

权利要求书

1.一种日志收集系统，所述系统包括：

一个或多个第一服务器，每一个第一服务器中均存储有多个配置文件，所述配置文件适于指定每种日志类型所对应的请求路径和日志数据格式，每一个第一服务器均包括：

日志生成单元，适于从客户端发起的HTTP请求中解析出请求路径，根据请求路径确定日志类型，根据该日志类型所对应的配置文件中所指定的日志数据格式将所述HTTP请求生成日志数据；

第一输出单元，适于将日志数据发送至第二服务器；

一个或多个第二服务器，每一个第二服务器均包括：

本地化存储单元，适于接收第一服务器发送的日志数据，将日志数据放到队列中，开启多个线程来处理队列中的日志数据，并根据日志数据所属的日志类型将接收到的日志数据存储于第二服务器的相应日志文件中，其中第二服务器中存储有针对不同日志类型所设置的配置文件，用于指定将日志数据存入日志文件过程中的参数；

监控服务器，适于获取第二服务器的运行状态，生成可用的第二服务器列表；

其中，第一输出单元中还包括：监听模块，适于监听所述可用的第二服务器列表，所述第一输出单元适于在可用的第二服务器的数量小于第一阈值时，将所述日志数据存储于第一服务器；在可用的第二服务器的数量大于等于第一阈值时，将第一服务器中已存储的日志数据和日志生成单元在当前时刻生成的日志数据发送至可用的第二服务器。

2.如权利要求1所述的系统，其中，所述监控服务器进一步适于：

每隔第一时间向每一个第二服务器发送确认信息；

若在第二时间内接收到第二服务器的反馈信息，则将该第二服务器判定为可用的第二服务器，加入可用的第二服务器列表。

3.如权利要求1或2所述的系统，其中，所述可用的第二服务器列表包括一条或多条可用的第二服务器记录，每条可用的第二服务器记录包括IP地址和端口号信息。

4.如权利要求1所述的系统，其中，所述第一输出单元还适于：

在可用的第二服务器的数量大于等于第一阈值时，以轮询的方式从多个可用的第二服务器中确定一个第二服务器，并将日志数据发送至确定的所述第二服务器。

5.如权利要求1所述的系统，其中，第二服务器中还包括第二输出单元，适于读取第二服务器中存储的日志文件，将所述日志文件中的日志数据发送至数据应用端。

6.如权利要求5所述的系统，其中，所述第二输出单元进一步适于：

将待发送的日志类型添加至队列中，其中，每个日志类型包括一个或多个日志文件；

创建多个线程；

对于每一个线程：

从队头取出一个日志类型；

读取该日志类型所对应的日志文件中的日志数据并将其发送至数据应用端；

将该日志类型放回队尾。

7.如权利要求5所述的系统，其中，所述数据应用端包括：Hadoop集群、Kafka集群、UDP服务器中的一种或多种。

8.如权利要求5所述的系统，其中，所述日志生成单元、第一输出单元、本地化存储单元、第二输出单元中均包括监控模块，适于监控每一种日志类型的日志数据的流量情况。