[发明专利]一种收集日志的方法、装置及系统

说明书

技术领域

本发明涉及网络技术领域，特别是涉及一种收集日志的方法、装置及系统。

背景技术

伴随互联网技术的飞速发展，用户通过对基础数据进行统计分析，能够获得所需要的信息。通常，基础数据是通过对网络中所产生的日志进行收集得到的。可见，日志收集系统所收集到的日志情况关系到针对基础数据进行分析所得结果的可靠性。也就是说，日志收集是一个非常重要的环节。

图1为现有技术中的一种收集日志的系统的架构示意图，在该系统中，包含多个日志收集节点、多个日志收集分中心节点和1个日志收集中心节点。针对图1所示的系统架构，存在这样一种收集日志的方式：日志收集系统中的每个收集节点预先绑定1个目标中心节点，在日志收集的过程中，每个收集节点将生成的日志上传至预先绑定的目标中心节点，并存储已上传的日志。其中，目标中心节点可以包含：日志收集中心节点或日志收集分中心节点。

图1中每个收集节点都与一个目标中心节点绑定，因此，一旦收集节点所对应的目标中心节点发生故障时，便无法及时收集所产生的日志，导致收集日志时有延时，严重时还会造成日志丢失，用户需要手动更改目标中心节点以恢复该收集节点对日志的收集。

发明内容

本发明实施例的目的在于提供一种收集日志的方法、装置及系统，以实现提高日志成功收集的可能性，降低所产生的遗漏日志的数量。

为达到上述目的，本发明实施例公开了一种收集日志的方法，应用于包含多个日志收集节点、多个日志收集分中心节点和1个日志收集中心节点的日志收集系统中，所述方法包括步骤：

每个日志收集节点获取预设的目标中心节点列表；所述目标中心节点列表包含日志收集中心节点和/或多个日志收集分中心节点的标识信息；

每个日志收集节点在获得待上传日志后，分别按照所获得的所述目标中心节点列表中的所述标识信息，逐一尝试将待上传日志上传至目标中心节点列表中的目标中心节点，直到成功将待上传日志上传至目标中心节点列表中的一个目标中心节点中；

每个日志收集分中心节点将收到的日志转发至日志收集中心节点；

所述日志收集中心节点将从各个日志收集节点收到的日志和从日志收集分中心节点收到日志进行存储。

较佳的，所述每个日志收集节点获取预设的目标中心节点列表的步骤，为：

每个日志收集节点获取自身存储的预设的目标中心节点列表；或，

所述日志收集系统还包含：日志接口节点，所述日志接口节点存储有预设的目标中心节点列表；每个日志收集节点从所述日志接口节点中获取预设的目标中心节点列表。

较佳的，所述日志收集系统还包含：日志文件信息存储节点和日志存储节点；

所述待上传日志包含：日志文件和日志文件信息；

所述日志收集中心节点将从各个日志收集节点收到的日志和从日志收集分中心节点收到日志进行存储的步骤，包含：

从各个日志收集节点收到的日志和从日志收集分中心节点收到日志中，提取所述日志文件信息发送至日志文件信息存储节点进行存储，并将所述日志文件存储至日志存储节点。

较佳的，所述日志文件信息中包含是否成功上传的标记信息；

所述日志接口节点进一步从所述日志文件信息存储节点中获得各个日志收集节点上传的日志文件信息；

并根据日志文件信息中所述是否成功上传的标记信息，判断各个日志收集节点上传的日志中是否存在遗漏日志；

当日志收集节点上传的日志存在遗漏日志时，通知该日志收集节点重传遗漏日志。

较佳的，所述日志收集系统还包含：日志分析节点；

所述将所述日志文件存储至日志存储节点之后，还包括：

日志分析节点根据日志文件信息存储节点存储的日志文件信息，获得日志收集中心节点每天所收到的日志文件的数量N1；

根据预设的日志产生规则，获得所有日志收集节点每天共产生的日志文件的数量N2；

根据公式：(N1/N2)*100％，计算得到每天日志收集的完整度。

为达到上述目的，本发明实施例公开了一种收集日志的装置，应用于包含多个日志收集节点、多个日志收集分中心节点和1个日志收集中心节点的日志收集系统中，所述装置包括：

列表获得模块，设置于每个日志收集节点中，用于获取预设的目标中心节点列表；所述目标中心节点列表包含日志收集中心节点和/或多个日志收集分中心节点的标识信息；