[发明专利]日志采集方法、装置及存储介质

说明书

本发明实施例提出一种日志采集方法、装置及计算机可读存储介质。其中日志采集方法包括：采集源端获取日志数据的存储位置信息；采集源端将所述日志数据的存储位置信息转存到缓存通道中；消费端根据所述缓存通道中的存储位置信息读取对应的日志数据。本发明实施例中的缓存通道使得采集日志时，不需将源日志重复保存到本地磁盘目录，节约了磁盘容量，而且根据相关存储位置信息，可以直接从源日志文件中进行有效数据采集，保障了极高的吞吐量。

技术领域

本发明涉及信息技术领域，尤其涉及一种日志采集方法、装置及计算机可读存储介质。

背景技术

flume(水槽)是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统，flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方的能力。以flume NG版本为例，开源系统flume NG的channel(通道)的实现方式主要分为两大类：一种是基于内存的channel(简称Memchannel)；另一种是基于文件的channel(简称Filechannel)。Memchannel支持高性能、高吞吐采集，但可能出现数据丢失的现象。Filechannel支持数据持久化，保障数据不丢失，但其性能略显不足。

发明内容

本发明实施例提供一种日志采集方法、装置及计算机可读存储介质，以至少解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种日志采集方法，包括：采集源端获取日志数据的存储位置信息；采集源端将所述日志数据的存储位置信息转存到缓存通道中；消费端根据所述缓存通道中的存储位置信息读取对应的日志数据。

结合第一方面，本发明实施例在第一方面的第一种实现方式中，还包括：消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中。

结合第一方面的第一种实现方式，本发明实施例在第一方面的第二种实现方式中，所述存储位置信息包括偏移量信息，采集源端将所述日志数据的存储位置信息转存到缓存通道中，包括：采集源端将日志数据的偏移量信息写入事务数据包的数据报头中，所述事务数据包是用于传输日志数据的数据包；采集源端将所述事务数据包转存到缓存通道中。

结合第一方面的第二种实现方式，本发明实施例在第一方面的第三种实现方式中，消费端根据所述缓存通道中的存储位置信息读取对应的日志数据，包括：消费端根据所述缓存通道中的偏移量信息，读取对应的日志数据。

结合第一方面的第三种实现方式，本发明实施例在第一方面的第四种实现方式中，消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中，包括：消费端提交已消费的所述日志数据时，将已消费的所述日志数据的偏移量信息保存到位置信息文件中。

结合第一方面的第二种实现方式、第三种实现方式、第四种实现方式，本发明实施例在第一方面的第五种实现方式中，所述偏移量信息包括文件号、文件游标和文件路径。

结合第一方面的第二种实现方式、第三种实现方式、第四种实现方式，本发明实施例在第一方面的第六种实现方式中，还包括：在获取日志数据的存储位置信息之前，采集源端从所述位置信息文件中读取所述偏移量信息，从所述偏移量信息中获取日志数据的采集位置。

第二方面，本发明实施例提供了一种日志采集装置，包括：采集源端，用于获取日志数据的存储位置信息；所述采集源端还用于：将所述日志数据的存储位置信息转存到缓存通道中；消费端，用于：根据所述缓存通道中的存储位置信息读取对应的日志数据。

结合第二方面，本发明实施例在第二方面的第一种实现方式中，所述消费端还用于：提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中。