[发明专利]一种日志处理方法、设备及存储介质

说明书

本申请提供一种日志处理方法、设备及计算机可读存储介质，其中，方法包括：获取各个目标设备发送的日志信息；将日志信息存储至分布式消息中间件的第一消息队列；调用插件基于多线程并行拉取策略，从第一消息队列中拉取第一目标日志信息，并将第一目标日志信息存储至联机分析处理平台，以使得联机分析处理平台对第一目标日志信息进行分析处理；实现了数据可靠地导入联机分析处理平台，确保日志处理设备具有高吞吐量和高性能。

技术领域

本申请实施例涉及金融科技(Fintech)的日志管理技术领域，涉及但不限于一种日志处理方法、设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，然而，由于金融行业的安全性、实时性要求，金融科技也对技术提出了更高的要求。

金融科技领域下，各种通信设备产生的数据越来越多，当通信设备产生大量日志信息时，目前采用Tranquility实现日志信息导入联机分析处理平台。Tranquility支持超文本传输协议(HyperText Transfer Protocol，Http)方式摄取数据，将日志信息从目标设备直接发至联机分析处理平台。然而，在日志信息量较大的情况下，将日志信息从目标设备直接发至联机分析处理平台时，上述方案至少存在日志处理设备发生崩溃的问题。

发明内容

本申请实施例提供一种日志处理方法、设备及计算机可读存储介质，解决了在日志信息量较大的情况下，将日志信息从目标设备直接发至联机分析处理平台时，相关技术中至少存在日志处理设备发生崩溃的问题；实现了高并发情况下数据的快速拉取，实现了数据可靠地导入联机分析处理平台，确保日志处理设备具有高吞吐量和高性能。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种日志处理方法，包括：

获取各个目标设备发送的日志信息；

将所述日志信息存储至分布式消息中间件的第一消息队列；

调用插件基于多线程并行拉取策略，从所述第一消息队列中拉取第一目标日志信息，并将所述第一目标日志信息存储至联机分析处理平台，以使得所述联机分析处理平台对所述第一目标日志信息进行分析处理。

本申请实施例提供一种日志处理装置，包括：

获取模块，用于获取各个目标设备发送的日志信息；

存储模块，用于将所述日志信息存储至分布式消息中间件的第一消息队列；

调用模块，用于调用插件基于多线程并行拉取策略，从所述第一消息队列中拉取第一目标日志信息，并将所述第一目标日志信息存储至联机分析处理平台，以使得所述联机分析处理平台对所述第一目标日志信息进行分析处理。

本申请实施例提供一种日志处理设备，包括：

存储器，用于存储可执行指令；处理器，用于执行存储器中存储的可执行指令时，实现上述的方法。

本申请实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现上述的方法。

本申请实施例具有以下有益效果：