[发明专利]用于日志文件的索引构建方法、装置及电子设备有效
申请号: | 201910712223.3 | 申请日: | 2019-08-02 |
公开(公告)号: | CN110569214B | 公开(公告)日: | 2023-07-28 |
发明(设计)人: | 张鑫;卢立;甘龙 | 申请(专利权)人: | 杭州云纪网络科技有限公司 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/11;G06F16/172;G06F16/18 |
代理公司: | 杭州华鼎知识产权代理事务所(普通合伙) 33217 | 代理人: | 项军 |
地址: | 310000 浙江省杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 日志 文件 索引 构建 方法 装置 电子设备 | ||
1.用于日志文件的索引构建方法,其特征在于,所述索引构建方法包括:
对构建索引的规则进行预配置处理,确定日志文件存储路径;
建立日志文件队列,对日志文件存储路径下的文件进行定时查询,将查询到的日志文件导入初始化后的日志文件队列中;
从日志文件队列中逐个提取日志文件,根据匹配正则表达式集从日志文件中提取线程号和时间戳;
进行预设操作获取到线程号,将线程号与已获取到的线程号进行比对,当比对结果一致时,基于匹配正则表达式集对日志文件中是否存在预设格式的文本内容进行筛选,基于筛选结果生成索引文件;
其中,所述建立日志文件队列,对日志文件存储路径下的文件进行定时查询,将查询到的日志文件导入初始化后的日志文件队列中包括:
建立日志文件队列,对日志文件队列进行初始化处理;
将位于日志文件存储路径下符合日志文件名样式的日志文件按修改时间先后的顺序逐个导入初始化后的日志文件队列中,将日志文件在队列中的位置编号作为日志文件在日志文件队列中的序号;
所述进行预设操作获取到线程号,将线程号与预先缓存的线程号进行比对,当比对结果一致时,基于匹配正则表达式集对日志文件中是否存在预设格式的文本内容进行筛选,基于筛选结果生成索引文件,包括:
调用日志行线程号获取规则正则表达式获取每行目标日志文件的线程号,当获取到的线程号与已缓存的线程号进行比对;
当比对结果一致时,根据事件日志快照行筛选规则正则表达式对目标日志文件中的该行内容进行字符串筛选,如果筛选后确定存在满足条件的格式文本内容字符串,则在当前已记录行数达到阈值的情况下将目标日志文件的文件在日志文件队列中的序号、行号、日志内容写入索引文件;
在索引文件路径下生成对应事件的索引文件,在索引文件中根据事件配置列表对其中每一个事件配置生成一个以事件关键字命名的独立子目录。
2.根据权利要求1所述的用于日志文件的索引构建方法,其特征在于,所述预配置处理包括:
进行全局配置,包括日志文件路径、日志文件名样式、日志行线程号获取规则正则表达式、日志行时间戳获取规则正则表达式、快照最大行数配置、索引文件路径、单个索引文件最大索引记录数量;
构建事件配置列表,包括事件关键字匹配正则表达式、事件日志快照行数、事件日志快照行筛选规则正则表达式。
3.根据权利要求1所述的用于日志文件的索引构建方法,其特征在于,所述方法还包括:
从日志文件队列中获取最近已读取日志文件的最后修改时间,判定最后修改时间是否有效;
如果无效则提取日志文件中的未读取内容,将未读取内容以及文件在日志文件队列中的序号传输至待处理日志队列;
对日志文件队列中尚未读取的日志文件均进行最后修改时间是否有效的判定操作。
4.根据权利要求1所述的用于日志文件的索引构建方法,其特征在于,所述从日志文件队列中逐个提取日志文件,根据匹配正则表达式集从日志文件中提取线程号和时间戳,包括:
在从日志文件队列中提取目标日志文件后,基于匹配正则表达式集中的事件关键字匹配正则表达式对目标日志文件进行检索;
如果目标日志文件的行内容中存在符合目标格式内容的字符串,则根据日志行线程号获取规则正则表达式和日志行时间戳获取规则正则表达式分别获取线程号和时间戳。
5.根据权利要求1至4任一项所述的用于日志文件的索引构建方法,其特征在于,所述进行预设操作获取到线程号,包括:
确定任一行日志的匹配索引关键字,从得到的匹配索引关键字中提取用于构建快照所使用的线程号。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州云纪网络科技有限公司,未经杭州云纪网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910712223.3/1.html,转载请声明来源钻瓜专利网。