[发明专利]一种业务应用日志处理方法及装置

说明书

本发明提供一种业务应用日志处理方法及装置，该方法包括：依据第一预设时间间隔获取待处理的业务应用日志；对业务应用日志进行分片处理，得到多个分片数据；基于预设日志类型筛选多个分片数据，得到确定日志类型的分片日志；根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。在本发明实施例中，通过预设日志类型确定每一分片日志的日志类型，通过对不同日志类型的分片日志进行处理，确定多个日志类型的分片日志中能够构建回环数据的分片日志，从而确保在业务应用日志进行处理过程中日志数据的完整性和准确性。

技术领域

本发明涉及大数据技术领域，尤其涉及一种业务应用日志处理方法及装置。

背景技术

随着民航信息化的快速发展，在大型主机系统上运行的应用程序，每天均会产生大量日志，这些日志记录着主机系统的运行状态，由于日志为交互日志，且为了了解主机系统的运行状态，在对日志进行处理时需要将多条日志进行上下文对照而形成一个具备完整语义的数据结构。

目前，基于日志产生的时间顺序从消息队列中逐条获取日志，并对单条日志进行处理。在日志上下文处理过程中，由于无法直接从大型主机系统上获取业务应用日志，只能通过外围设备获取交互日志，因此，业务应用的发送请求和回复请求存在不同的日志中，单条日志中只包含发送请求或回复请求。通过上述方式处理日志，容易出现日志上下文不匹配的情况，从而导致日志的处理过程中存在数据不完整，及不准确的问题。

发明内容

有鉴于此，本发明实施例提供一种业务应用日志处理方法及装置，以解决现有技术中由于日志上下文不匹配，导致日志的处理过程中存在数据不完整，及不准确的问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开了一种业务应用日志处理方法，所述方法包括：

依据第一预设时间间隔获取待处理的业务应用日志；

对所述业务应用日志进行分片处理，得到多个分片数据；

基于预设日志类型筛选所述多个分片数据，得到确定日志类型的分片日志；

根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果。

可选的，所述对所述应用日志进行分片处理，得到多个分片数据，包括：

对所述待处理的业务应用日志进行分片处理，得到多个分片日志和对应所述分片日志的日志偏移量，每一分片日志和对应所述分片日志的日志偏移量组成一分片数据，所述每一个分片日志包括日志数据和冗余数据，所述冗余数据用于存储未包含在日志数据中的回复报文；

将所述分片数据暂存至内部缓存中，将所述日志偏移量存储至消息管理队列。

可选的，所述基于预设日志类型筛选所述多个分片数据，得到确定日志类型的分片日志，包括：

针对每一分片数据，根据所述分片数据中的日志偏移量在内部缓存中读取与所述日志偏移量对应的分片日志；

基于预先存储的服务器名称和监控指标滤除所述多个分片日志中的无效分片日志，得到有效分片日志；

基于预设日志类型筛选所述有效分片日志，得到日志类型为预设日志类型的分片日志，所述预设日志类型包括系统内组件输出交互DAUDIT_OUT类型、系统间交互输入STAT_IN类型和系统间交互输出STAT_OUT类型。

可选的，所述根据不同日志类型的分片日志的处理方式处理对应类型的分片日志，得到处理结果，包括：

若筛选得到的分片日志中仅存在DAUDIT_OUT类型、STAT_IN类型和STAT_OUT类型中任一一种或二种类型的分片日志，将所述业务应用日志丢弃；