[发明专利]基于自定义字段的日志系统、日志存储方法和查询方法

说明书

本发明公开了一种基于自定义字段的日志系统、日志存储方法和查询方法，包括：日志索引存储表，其中包括至少一个预留字段；自定义字段映射表，存储自定义字段名称、日志来源和预留字段之间的映射关系；日志格式匹配表，存储日志内容格式和日志来源之间的映射关系，日志内容格式由日志内容中的一部分内容和自定义字段名称构成；自定义字段提取器，用于通过日志格式匹配表从日志内容中提取出自定义字段名称和字段值；日志索引存储器，用于将日志存储于日志索引存储表，并根据自定义字段映射表将字段值存储于预留字段中；日志查询器，依据自定义字段映射表获得与自定义字段名称相对应的预留字段，并利用预留字段在日志索引存储表中进行日志查询。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于自定义字段的日志系统、日志存储方法和查询方法。

背景技术

日志系统作为互联网公司必备的基础系统，是开发人员所必备的，它是开发人员用于了解系统运行状况、进行问题排查的重要系统。

开发人员将需要关注的应用日志接入到日志系统中，就可以登陆日志系统的前端界面上进行日志查询和搜索等操作。日志系统除了提供上述基本功能外，还会提供诸如日志分析、自定义结构化字段等高级功能。

“自定义字段功能”对于多用户的日志系统来说，能够满足每个用户对自己需要关心的字段进行查询统计的需求。

现有的一种常用日志系统的索引结构如下表：

应用id	文件路径	ip地址	日志内容

在一个具体实例中，索引表中的一条日志内容的相关信息如下：

在此基础上，在索引表中增加“自定义字段”position(职位)字段后，对应的索引结构变为下表所示：

应用id	文件路径	ip地址	日志内容	position

索引表中对应的日志内容的相关信息如下：