[发明专利]分布式系统的日志收集方法及装置

说明书

本发明实施例公开了一种分布式系统的日志收集方法及装置。其中，方法包括管理器预先配置好分布式系统中的各客户端和各收集器，并统计收集相应服务器的日志数据以及传输待写入日志数据的进度和状态，和各收集器的工作状态和数据流的执行进度。客户端将采集相应服务器的待写入日志数据按照预设数据单元格式进行转化，然后将转化后的日志数据通过多个通道传输至收集器中，收集器根据接收到的日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。本申请实现高效收集大规模分布式文件系统的日志，提升了日志收集的可靠性、可扩展性和可管理性，满足了大规模分布式系统日志收集的现实需求。

技术领域

本发明实施例涉及日志记录技术领域，特别是涉及一种分布式系统的日志收集方法及装置。

背景技术

随着大数据、云技术的快速发展，数据呈现爆炸式增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意，分布式文件系统应运而生。

分布式文件系统被设计成适合运行在通用硬件上的文件系统。它是一个高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。同时分布式文件系统放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。

IT(Information Technology)分布式文件系统，例如搜索引擎、云计算、电子商务、视频网站、社交网络、共享单车等IT平台，每天会产生海量的日志(一般为流式数据，如搜索引擎的pv、查询等)；同时对于大型的IT平台，均采用超大规模的服务器、存储进行业务计算、数据存储。如何从这些服务器上收集海量日志，并从海量的日志中收集、分析有效的用户信息，需要特定的日志收集系统。

目前的日志收集方法适用于单机、小规模等应用场景，针对大规模分布式文件系统，相关技术日志收集不仅效率较低，还易丢失一部分数据。

发明内容

本公开实施例提供了一种分布式系统的日志收集方法及装置，实现高效收集大规模分布式文件系统的日志，提升了日志收集的可靠性、可扩展性和可管理性。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种分布式系统的日志收集方法，基于客户端，客户端挂载于服务器上，包括：

将采集相应服务器的待写入日志数据，按照预设数据单元格式进行转化；

将转化后的待写入日志数据通过多个通道传输至目标收集器中，以使所述目标收集器根据所述待写入日志数据的目标源地址信息，将其写入至相应的分布式文件系统中。

可选的，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中之后，还包括：

将所述待写入日志数据存储在本地；

判断所述待写入日志数据的目标源是否成功接收并写入所述待写入日志数据；

若是，则从本地删除所述待写入日志数据；

若否，则向所述目标收集器发送重新将所述待写入日志数据写入所述目标源的指令。

可选的，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中之后，还包括：

判断所述待写入日志数据的目标源是否成功接收所述待写入日志数据；

若否，则将所述待写入日志数据存储在本地；

判断所述目标源是否恢复；

若是，则向所述目标收集器发送重新传输所述待写入日志数据至所述目标源的指令。

可选的，所述将转化后的待写入日志数据通过多个通道传输至目标收集器中包括：