[发明专利]一种日志质量评估方法、装置、服务器以及存储介质

说明书

本发明实施例公开了一种日志质量评估方法、装置、服务器以及存储介质。该方法包括在监听到目标文件中有事件发生时，实时采集与目标文件相对应的日志数据，并按照预设时间间隔周期的记录在预设时间间隔内所采集的日志数据的采集属性信息；记录目标文件中已发生事件的原始属性信息；根据原始属性信息以及目标文件的各采集属性信息确定采集误差率，以对目标文件的日志数据进行质量评估。采用上述技术方案实现了对采集的日志数据进行质量评估，以有效检测采集日志数据的可靠性，避免了由于数据采集过程的失误影响后续数据处理的最终结果，进而避免日志数据对系统维护、系统开发以及用户数据挖掘等带来错误引导。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种日志质量评估方法、装置、服务器以及存储介质。

背景技术

在一个完整的信息系统中，日志系统是一个非常重要的功能组成部分。日志系统依照某种规范形式记录系统产生的所有行为，形成大量的日志数据作为开发维护人员了解信息系统的重要依据。

而Flume作为一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统，可以从控制台Console、RPC(Thrift-RPC)、文件(Text)、Tail(UNIX Tail)、Syslog及命令执行(EXEC)等数据源上实时采集日志数据而应用广泛。

如附图1A为现有技术中Flume的代理及其附属结构的示意图。其中，代理100A(Agent)由信源110(Source)、信道120(Channel)以及信宿130(Sink)组成。其中，信源110定义了日志数据的来源，用于在采集到足够的日志数据可以生成一个Flume事件时，把新创建的事件发送给信道120；信宿130定义了采集数据的出口，用于作为消费单元从信道120中接收事件，并在接收到的数据分发给目标存储器140，用于后续对采集的日志数据进行处理；而信道120作为信源110和信宿130的中间通道，其作为事件的通信机制和保留机制，在信源110和信宿130的数据读写能力存在较大差异时，作为缓冲单元用于暂存数据。

然而，采用Flume进行数据采集过程中，由于其自身并未提供日志数据的质量评估功能，致使在服务器发生重启、日志内容覆盖或删除等非常态事件发生时，系统开发维护人员无法及时发现日志数据的异常，导致后续的日志分析结果可靠性低，为服务器所在信息系统的系统维护、系统开发以及用户数据挖掘等带来错误引导。

发明内容

本发明实施例提供了一种日志质量评估方法、装置、服务器以及存储介质，以实现对采集的日志数据进行质量评估，以有效监测采集日志的可靠性，避免由于数据采集过程的失误影响后续数据处理的最终结果。

第一方面，本发明实施例提供了一种日志质量评估方法，该方法包括：

在监听到目标文件中有事件发生时，实时采集与所述目标文件相对应的日志数据，并按照预设时间间隔周期的记录在所述预设时间间隔内所采集的日志数据的采集属性信息；

记录所述目标文件中已发生事件的原始属性信息；

根据所述原始属性信息以及所述目标文件的各采集属性信息确定采集误差率，以对所述目标文件的日志数据进行质量评估。

第二方面，本发明实施例还提供了一种日志质量评估装置，该装置包括：

第一记录模块，用于在监听到目标文件中有事件发生时，实时采集与所述目标文件相对应的日志数据，并按照预设时间间隔周期的记录在所述预设时间间隔内所采集的日志数据的采集属性信息；

第二记录模块，用于记录所述目标文件中已发生事件的原始属性信息；

质量评估模块，用于根据所述原始属性信息以及所述目标文件的各采集属性信息确定采集误差率，以对所述目标文件的日志数据进行质量评估。

第三方面，本发明实施例还提供了一种服务器，包括输入装置，该服务器还包括：