[发明专利]一种日志处理方法及装置

说明书

本申请实施例提供一种日志处理方法及装置，涉及计算机技术领域，该日志处理方法包括：实时侦听日志数据，并对所述日志数据进行拷贝，得到日志拷贝数据；然后通过一个异步进程对日志拷贝数据进行加密存储，并通过另一个异步进程对日志拷贝数据进行本地审计处理，得到审计结果；进一步地，根据审计结果判断日志拷贝数据是否通过本地审计；如果是，则对日志拷贝数据进行归一化处理，得到归一化日志数据；最后将归一化日志数据发送至日志集中采集服务器，以使日志集中采集服务器对归一化日志数据进行集中审计处理，能够对日志进行预审计和存储处理，从而有效减轻对日志集中采集服务器存储和计算性能的消耗，进而有利于提升日志处理效率。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种日志处理方法及装置。

背景技术

随着互联网技术的不断发展，互联网大数据的趋势日益显著，每一条互联网的业务线都在不断地产生新的数据，相应的，对数据进行处理过程中记录的日志也会很多。现有的日志处理方法，通常通过日志集中采集服务器将日志数据进行收集和存储，收集后再对日志进行审计处理。然而，在实践中发现，由于日志文件的量级较大，现有方法的日志集中采集服务器处理日志效率低，计算性能消耗过大，存储效率低。

发明内容

本申请实施例的目的在于提供一种日志处理方法及装置，能够对日志进行预审计和存储处理，从而有效减轻对日志集中采集服务器存储和计算性能的消耗，进而有利于提升日志处理效率。

本申请实施例第一方面提供了一种日志处理方法，包括：

实时侦听日志数据，并对所述日志数据进行拷贝，得到日志拷贝数据；

通过一个异步进程对所述日志拷贝数据进行加密存储，并通过另一个异步进程对所述日志拷贝数据进行本地审计处理，得到审计结果；

根据所述审计结果判断所述日志拷贝数据是否通过本地审计；

如果是，则对所述日志拷贝数据进行归一化处理，得到归一化日志数据；

将所述归一化日志数据发送至日志集中采集服务器，以使所述日志集中采集服务器对所述归一化日志数据进行集中审计处理。

在上述实现过程中，实时侦听日志数据，并对所述日志数据进行拷贝，得到日志拷贝数据；然后通过一个异步进程对日志拷贝数据进行加密存储，并通过另一个异步进程对日志拷贝数据进行本地审计处理，得到审计结果；进一步地，根据审计结果判断日志拷贝数据是否通过本地审计；如果是，则对日志拷贝数据进行归一化处理，得到归一化日志数据；最后将归一化日志数据发送至日志集中采集服务器，以使日志集中采集服务器对归一化日志数据进行集中审计处理，能够对日志进行预审计和存储处理，从而有效减轻对日志集中采集服务器存储和计算性能的消耗，进而有利于提升日志处理效率。

进一步地，所述实时侦听日志数据，包括：

通过本地日志代理组件对日志进行实时侦听，得到实时侦听数据；

对所述实时侦听数据进行解析还原处理，得到日志数据。

进一步地，所述通过另一个异步进程对所述日志拷贝数据进行本地审计处理，得到审计结果，包括：

通过另一个异步进程遍历预设的审计规则库中的审计目标特征，判断所述日志拷贝数据是否命中所述审计规则库中的任一个审计目标特征；其中，所述另一个异步进程为异步日志审计进程；

如果是，则确定审计结果为通过本地审计；

如果否，则确定审计结果为不通过本地审计。

在上述实现过程中，通过本地审计处理，能够减轻日志集中采集服务器的日志处理压力，进而有利于提升日志处理效率。