[发明专利]日志文件断点续传的方法及装置

权利要求书

1.一种日志文件断点续传的方法，其特征在于，包括：

在日志采集过程中，生成非实时偏移量记录文件和实时偏移量记录文件，其中，非实时偏移量记录文件基于预设时间间隔记录各个日志文件已读取的偏移量，实时偏移量记录文件在每一批次日志文件数据发送后记录各个日志文件已读取的偏移量；

若实时偏移量记录文件的最后更新时刻晚于非实时偏移量记录文件的最后更新时刻，用实时偏移量记录文件中已读取的偏移量替换非实时偏移量记录文件中已读取的偏移量；

在采集工具退出重启后，根据非实时偏移量记录文件中已读取的偏移量，进行日志文件的断点续传，将断点续传后发送的第一批次日志文件数据标记为重复采集数据。

2.如权利要求1所述的方法，其特征在于，在日志采集过程中，生成非实时偏移量记录文件和实时偏移量记录文件，包括：

获得内存中的在读文件列表，其中，在读文件列表用于记录各个日志文件的标识信息和已读取的偏移量；

基于预设时间间隔，将内存中的在读文件列表覆盖写至磁盘上的非实时偏移量记录文件。

3.如权利要求2所述的方法，其特征在于，在日志采集过程中，生成非实时偏移量记录文件和实时偏移量记录文件，包括：

对于任意日志文件，从在读文件列表记录的该任意日志文件的已读取的偏移量处读取该任意日志文件，在从内存中读取每一批次的日志数据发送至Kafka后，更新在读文件列表中该任意日志文件的已读取的偏移量，其中，每一批次读取的数据量在配置文件中预先设置；

将更新后的该任意日志文件的已读取的偏移量追加写至实时偏移量记录文件中该任意日志文件对应的子偏移量记录文件中，其中，实时偏移量记录文件包括多个子偏移量记录文件，每个日志文件基于标识信息对应一个子偏移量记录文件。

4.如权利要求3所述的方法，其特征在于，若实时偏移量记录文件的最后更新时刻晚于非实时偏移量记录文件的最后更新时刻，用实时偏移量记录文件中已读取的偏移量替换非实时偏移量记录文件中已读取的偏移量，包括：

读取非实时偏移量记录文件的映射，其中，映射的键为各个日志文件的标识信息，映射的值为各个日志文件的已读取的偏移量；

遍历实时偏移量记录文件中的多个子偏移量记录文件；

若当前遍历的子偏移量记录文件的最后更新时刻晚于非实时偏移量记录文件的最后更新时刻，根据当前遍历的子偏移量记录文件对应的日志文件的标识信息，查找非实时偏移量记录文件的映射对应的键；

在查找到非实时偏移量记录文件的映射对应的键时，用当前遍历的子偏移量记录文件中已读取的偏移量替换非实时偏移量记录文件中已读取的偏移量。

5.如权利要求4所述的方法，其特征在于，用当前遍历的子偏移量记录文件中已读取的偏移量替换非实时偏移量记录文件中已读取的偏移量，包括：

判断当前遍历的子偏移量记录文件中已读取的偏移量是否大于非实时偏移量记录文件中已读取的偏移量；

在当前遍历的子偏移量记录文件中已读取的偏移量大于非实时偏移量记录文件中已读取的偏移量时，用当前遍历的子偏移量记录文件中已读取的偏移量替换非实时偏移量记录文件中已读取的偏移量；

在当前遍历的子偏移量记录文件中已读取的偏移量小于或等于非实时偏移量记录文件中已读取的偏移量时，遍历其他的子偏移量记录文件。

6.如权利要求4所述的方法，其特征在于，还包括：

在未查找到非实时偏移量记录文件的映射对应的键时，根据当前遍历的子偏移量记录文件对应的日志文件的标识信息，在非实时偏移量记录文件的映射添加新的键；

根据当前遍历的子偏移量记录文件对应的日志文件的已读取的偏移量，添加非实时偏移量记录文件的映射的新的键对应的值。