[发明专利]用于日志文件的索引构建方法、装置及电子设备

说明书

本实施例提出了用于日志文件的索引构建方法、装置及电子设备，包括：对构建索引的规则进行预配置处理，确定日志文件存储路径；建立日志文件队列，对日志文件存储路径下的文件进行定时查询，将查询到的日志文件导入初始化后的日志文件队列中；从日志文件队列中逐个提取日志文件，从日志文件中提取线程号和时间戳；进行预设操作获取到线程号，将线程号与已获取到的线程号进行比对，当比对结果一致时，基于匹配正则表达式集对日志文件中是否存在预设格式的文本内容进行筛选，基于筛选结果生成索引文件。在时间维度基础上借助事件维度构建索引文件，在已构建的索引文件中可以尽快定位目标日志的位置，缩短工作时间，提高了查看问题日志的效率。

技术领域

本发明属于系统维护领域，尤其涉及用于日志文件的索引构建方法、装置及电子设备。

背景技术

当前在软件开发过程中，软件系统或使用的网络设备在运行过程中都会产生大量的系统日志，系统日志需要进行存档以便后期的审计和维护。

CS架构中服务器经常处于高并发的工作状态，导致同一时刻下会在多个线程中处理不同的事件，该情况下的日志文件如果仅依靠时间维度的索引进行定位，很难得到所需要的内容，还需要人工进行后期筛选，降低了人员的工作效率。

发明内容

为了解决现有技术中存在的缺点和不足，本实施例提供了用于日志文件的索引构建方法、装置及电子设备，能够基于时间、事件两个维度在构建索引时实现快速缩减范围的效果，从而在构建的索引中迅速定位目标日志的位置，提升工作效率。

为了达到上述技术目的，根据本公开实施例的第一方面，本实施例提供了用于日志文件的索引构建方法，所述索引构建方法包括：

对构建索引的规则进行预配置处理，确定日志文件存储路径；

建立日志文件队列，对日志文件存储路径下的文件进行定时查询，将查询到的日志文件导入初始化后的日志文件队列中；

从日志文件队列中逐个提取日志文件，根据匹配正则表达式集从日志文件中提取线程号和时间戳；

进行预设操作获取到线程号，将线程号与已获取到的线程号进行比对，当比对结果一致时，基于匹配正则表达式集对日志文件中是否存在预设格式的文本内容进行筛选，基于筛选结果生成索引文件。

可选的，所述预配置处理包括：

进行全局配置，包括日志文件路径、日志文件名样式、日志行线程号获取规则正则表达式、日志行时间戳获取规则正则表达式、快照最大行数配置、索引文件路径、单个索引文件最大索引记录数量；

构建事件配置列表，包括事件关键字匹配正则表达式、事件日志快照行数、事件日志快照行筛选规则正则表达式。

可选的，所述建立日志文件队列，对日志文件存储路径下的文件进行定时查询，将查询到的日志文件导入初始化后的日志文件队列中包括：

建立日志文件队列，对日志文件队列进行初始化处理；

将位于日志文件存储路径下符合日志文件名样式的日志文件按修改时间先后的顺序逐个导入初始化后的日志文件队列中，将日志文件在队列中的位置编号作为日志文件在日志文件队列中的序号。

可选的，所述方法还包括：

从日志文件队列中获取最近已读取日志文件的最后修改时间，判定最后修改时间是否有效；

如果无效则提取日志文件中的未读取内容，将未读取内容以及文件在日志文件队列中的序号传输至待处理日志队列；

对日志文件队列中尚未读取的日志文件均进行最后修改时间是否有效的判定操作。

可选的，所述从日志文件队列中逐个提取日志文件，根据匹配正则表达式集从日志文件中提取线程号和时间戳，包括：