[发明专利]分布式系统的日志收集方法及装置

权利要求书

1.一种分布式系统的日志收集方法，其特征在于，基于客户端，客户端挂载于服务器上，包括：

将采集相应服务器的待写入日志数据，按照预设数据单元格式进行转化；

将转化后的待写入日志数据通过多个通道传输至目标收集器中，以使所述目标收集器根据所述待写入日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。

2.根据权利要求1所述的分布式系统的日志收集方法，其特征在于，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中之后，还包括：

将所述待写入日志数据存储在本地；

判断所述待写入日志数据的目标源是否成功接收并写入所述待写入日志数据；

若是，则从本地删除所述待写入日志数据；

若否，则向所述目标收集器发送重新将所述待写入日志数据写入所述目标源的指令。

3.根据权利要求1所述的分布式系统的日志收集方法，其特征在于，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中之后，还包括：

判断所述待写入日志数据的目标源是否成功接收所述待写入日志数据；

若否，则将所述待写入日志数据存储在本地；

判断所述目标源是否恢复；

若是，则向所述目标收集器发送重新传输所述待写入日志数据至所述目标源的指令。

4.根据权利要求1-3任意一项所述的分布式系统的日志收集方法，其特征在于，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中包括：

将转化后的待写入日志数据通过多个通道传输至目标客户端，以使所述目标客户端将接收到的数据传输至所述目标收集器。

5.根据权利要求4所述的分布式系统的日志收集方法，其特征在于，所述目标收集器工作状态异常时，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中包括：

将转化后的待写入日志数据通过多个通道传输至备用收集器中，所述备用收集器为基于负载均衡策略确定的处于正常工作状态的收集器。

6.一种分布式系统的日志收集装置，其特征在于，基于客户端，包括：

格式转化模块，用于将待写入日志数据按照预设数据单元格式进行转化；

数据传输模块，用于将转化后的待写入日志数据通过多个通道传输至目标收集器中，以使所述目标收集器根据所述待写入日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。

7.一种分布式系统的日志收集方法，其特征在于，基于收集器，包括：

接收各节点发送的相应服务器的日志数据；

根据各日志数据携带的目标源地址信息，分别将各日志数据写入至相对应的分布式文件系统中。

8.一种分布式系统的日志收集方法，其特征在于，基于管理器，包括：

预先配置分布式系统中的各客户端和各收集器；

动态加载各客户端和各收集器；

根据用户输入查询目标客户端工作状态的指令，展示所述目标客户端收集相应服务器的日志数据，以及传输待写入日志数据的进度和状态；

根据用户输入查询目标收集器工作状态的指令，展示所述目标收集器的工作状态和数据流的执行进度。

9.根据权利要求8所述的分布式系统的日志收集方法，其特征在于，还包括：

当检测第一收集器工作状态异常时，基于负载均衡策略确定第二收集器，以使所述第一收集器执行的客户端任务迁移至所述第二收集器。

10.一种分布式系统的日志收集装置，其特征在于，基于管理器，包括：

配置模块，用于预先配置分布式系统中各客户端和各收集器；

加载模块，用于动态加载各客户端和各收集器；

数据统计模块，用于统计各客户端收集相应服务器的日志数据以及传输待写入日志数据的进度和状态，和各收集器的工作状态和数据流的执行进度。