[发明专利]日志文件断点续传的方法及装置

说明书

本发明公开了一种日志文件断点续传的方法及装置，本发明涉及大数据技术领域，该方法包括：在日志采集过程中，生成非实时偏移量记录文件和实时偏移量记录文件，非实时偏移量记录文件基于预设时间间隔记录各个日志文件已读取的偏移量，实时偏移量记录文件在每一批次日志文件数据发送后记录各个日志文件已读取的偏移量；若实时偏移量记录文件的最后更新时刻晚于非实时偏移量记录文件的最后更新时刻，用实时偏移量记录文件中已读取的偏移量替换非实时偏移量记录文件中已读取的偏移量，在采集工具退出重启后，根据非实时偏移量记录文件中已读取的偏移量，进行日志文件的断点续传，本发明减少了断点续传引起的数据重复采集量。

技术领域

本发明涉及大数据技术领域，尤其涉及日志文件断点续传的方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着计算机技术的不断发展，日志逐渐成为大数据分析、智能运维等领域的数据源。因此，一个稳定可靠的日志采集工具必不可少。在各种原因导致日志采集工具退出的情况下，再次启动日志采集工具，如何在断点续传时尽可能避免数据丢失，且减少数据重复的数量，成为一个亟需解决的问题。

常用的开源日志采集工具中，会每隔一段时间，将当前内存中记录的每个日志文件读取到的偏移量以覆盖写的形式记录到磁盘的一个文件中，如果采集工具在两次记录磁盘文件的时间区间内中断，并且在上一次记录磁盘文件之后，又读取了新的数据，那么实际日志文件读取到的偏移量是大于磁盘上记录的偏移量的，在采集工具重新启动后，按照磁盘记录的偏移量往后读取日志文件，数据一定会发生重复采集，并且无法确定重复采集的数据范围，造成了资源浪费。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供一种日志文件断点续传的方法，用以减少断点续传引起的数据重复采集量，预测重复采集的数据范围，该方法包括：

在日志采集过程中，生成非实时偏移量记录文件和实时偏移量记录文件，其中，非实时偏移量记录文件基于预设时间间隔记录各个日志文件已读取的偏移量，实时偏移量记录文件在每一批次日志文件数据发送后记录各个日志文件已读取的偏移量；

若实时偏移量记录文件的最后更新时刻晚于非实时偏移量记录文件的最后更新时刻，用实时偏移量记录文件中已读取的偏移量替换非实时偏移量记录文件中已读取的偏移量；

在采集工具退出重启后，根据非实时偏移量记录文件中已读取的偏移量，进行日志文件的断点续传，将断点续传后发送的第一批次日志文件数据标记为重复采集数据。

本发明实施例提供一种日志文件断点续传的装置，用以减少断点续传引起的数据重复采集量，预测重复采集的数据范围，该装置包括：

偏移量记录模块，用于在日志采集过程中，生成非实时偏移量记录文件和实时偏移量记录文件，其中，非实时偏移量记录文件基于预设时间间隔记录各个日志文件已读取的偏移量，实时偏移量记录文件在每一批次日志文件数据发送后记录各个日志文件已读取的偏移量；

偏移量替换模块，用于若实时偏移量记录文件的最后更新时刻晚于非实时偏移量记录文件的最后更新时刻，用实时偏移量记录文件中已读取的偏移量替换非实时偏移量记录文件中已读取的偏移量；

断点续传模块，用于在采集工具退出重启后，根据非实时偏移量记录文件中已读取的偏移量，进行日志文件的断点续传，将断点续传后发送的第一批次日志文件数据标记为重复采集数据。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述日志文件断点续传的方法。