[发明专利]日志采集方法及装置

说明书

本发明公开了一种日志采集方法及装置。其中，该方法包括：确定对节点进行日志采集的日志采集方式为实时采集方式，或者按照一定周期进行的定时采集方式，其中，节点为分布式系统中需要进行日志采集的节点；根据确定的日志采集方式对节点的多个日志文件进行日志采集，其中，节点为多个，对不同的节点的日志采集互相独立；将采集到的日志文件发送给中转模块，由中转模块将接收到的日志文件发送给收集模块；收集模块接收日志文件，进行收集，由收集模块将收集的日志文件发送给处理模块；处理模块接收日志文件，进行处理。本发明解决了相关技术中采集系统十分复杂的技术问题。

技术领域

本发明涉及日志采集领域，具体而言，涉及一种日志采集方法及装置。

背景技术

在系统较大的情况，就会选择讲系统拆分成多个独立的进程，也即是分布式系统，记录分布式系统中的动作的数据文件，也即是分布式日志，由于分布式系统有多个独立的进程组成，现有技术中的采集系统十分复杂，而且不易扩展。在js语言环境的系统中，没有对分布式日志进行采集的方式。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种日志采集方法及装置，以至少解决相关技术中采集系统十分复杂的技术问题。

根据本发明实施例的一个方面，提供了一种日志采集方法，包括：确定对节点进行日志采集的日志采集方式为实时采集方式，或者按照一定周期进行的定时采集方式，其中，所述节点为分布式系统中需要进行日志采集的节点；根据确定的日志采集方式对所述节点的多个日志文件进行日志采集，其中，所述节点为多个，对不同的节点的日志采集互相独立；将采集到的日志文件发送给中转模块，由所述中转模块将接收到的日志文件发送给收集模块；所述收集模块接收所述日志文件，进行收集，由所述收集模块将收集的日志文件发送给处理模块；所述处理模块接收所述日志文件，进行处理。

可选的，在实时采集日志的过程中，均采用socket.io方式传输数据。

可选的，在所述日志采集方式为定时采集方式的情况下，根据定时采集方式对所述节点的多个日志文件进行日志采集包括：缓存已产生的日志文件；缓存预定时间段后，对在所述预定时间段内产生的多个日志文件进行采集。

可选的，所述收集模块接收所述日志文件，进行收集之前包括：将采集到的所述日志文件，与历史日志文件进行对比，确定采集到的所述日志文件是否完整；在所述日志文件完整的情况下，将采集的所述日志文件传输给收集模块。

可选的，所述处理模块接收所述日志文件，进行处理之前包括：根据采集需求，确定所述收集模块收集的日志文件是否需要进行处理；在采集需求需要对所述日志文件进行处理的情况下，对所述日志文件进行与采集需求对应的处理；和/或，在所述采集需求不需要对所述日志文件进行处理的情况下，对所述日志文件进行存储。

根据本发明实施例的另一方面，还提供了一种日志采集装置，包括：确定模块，用于确定对节点进行日志采集的日志采集方式为实时采集方式，或者按照一定周期进行的定时采集方式，其中，所述节点为分布式系统中需要进行日志采集的节点；采集模块，用于根据确定的日志采集方式对所述节点的多个日志文件进行日志采集，其中，所述节点为多个，对不同的节点的日志采集互相独立；中转模块，用于将采集到的日志文件发送给中转模块，由所述中转模块将接收到的日志文件发送给收集模块；收集模块，用于所述收集模块接收所述日志文件，进行收集，由所述收集模块将收集的日志文件发送给处理模块；处理模块，用于接收所述日志文件，进行处理。

可选的，所述采集模块包括：缓存单元，用于缓存已产生的日志文件；采集单元，用于缓存预定时间段后，对在所述预定时间段内产生的多个日志文件进行采集。

可选的，所述中转模块包括：对比单元，用于将采集到的所述日志文件，与历史日志文件进行对比，确定采集到的所述日志文件是否完整；传输单元，用于在所述日志文件完整的情况下，将采集的所述日志文件传输给收集模块。