[发明专利]日志文件的查询和处理的方法及装置

说明书

技术领域

本发明涉及日志管理领域，特别是指一种日志文件的查询和处理的方法及装置。

背景技术

在通用用户数据平台(USPP，Universal Subscriber Profile Platform)双层组网网管系统架构中，网元侧用于收集和存储受理日志，网元层管理系统(EMS，Element Management Systems)用于查询各网元的受理日志。

由于用户多，受理日志的信息量巨大。目前网元侧(OMM)通过数据库系统(例如，Oracle)来存储受理日志信息，Oracle数据库成本较高，无法存储海量的受理日志信息，当数据库受理日志信息达到存储上限时，网元侧会把数据库记录导出为文本文件，一个文本文件大致存放300万条记录，文本文件压缩后存储在网元侧。

EMS从网元侧采集压缩后的日志文件。当对记录进行检索时，首先需要解压，然后逐条解析每条记录，根据用户要求的查询条件找到匹配的记录。这样的查询过程非常耗时，平均每个压缩日志文件的查询耗时50秒左右。

发明内容

本发明要解决的技术问题是提供一种提高查询速度的日志文件的查询和处理的方法及装置。

为解决上述技术问题，本发明的实施例提供技术方案如下：

一方面，提供一种日志文件的查询方法，包括：

日志文件查询装置获取至少一个类型的待查询索引值；

所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号，所述索引文件包括：所述至少一个类型的索引值以及所述索引值对应的至少一个记录的序号；

所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录，所述日志文件包括：至少一个记录、所述记录的序号。

其中，所述日志文件还包括：所述记录在所述日志文件中的存储位置信息；

所述日志文件查询装置根据查找的所述记录的序号，从日志文件中获取所述待查询索引值对应的记录的步骤包括：所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息；所述日志文件查询装置根据获取的所述记录的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录。

其中，所述日志文件具体包括：至少一个记录数据块、所述记录数据块的序号以及所述记录数据块在所述日志文件中的存储位置信息，所述记录数据块包括至少一个记录；

所述索引文件具体包括：所述记录数据块的序号和所述记录数据块的序号对应的至少一个类型的索引值的范围；

所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录的序号的步骤具体为：所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录数据块的序号；

所述日志文件查询装置根据所述日志文件，获取查找到的所述记录的序号对应的所述记录的存储位置信息的步骤具体为：所述日志文件查询装置根据所述日志文件，获取查找到的所述记录数据块的序号对应的存储位置信息；

所述日志文件查询装置根据获取的所述记录的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录的步骤具体为：所述日志文件查询装置根据获取的所述记录数据块的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录数据块；所述日志文件查询装置从获取的所述记录数据块中，获取包含所述待查询索引值对应的记录。

其中，所述记录数据块还包括：所述记录的序号以及所述记录的存储位置信息；

所述索引文件还包括：所述至少一个类型的索引值、所述索引值对应的记录数据块的序号以及所述索引值对应的记录的序号；

所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录数据块的序号的步骤具体为：所述日志文件查询装置根据所述索引文件，查找所述待查询索引值对应的至少一个记录数据块的序号以及所述待查询索引值对应的至少一个记录的序号；

所述日志文件查询装置从获取的所述记录数据块中，获取包含所述待查询索引值对应的记录的步骤具体为：所述日志文件查询装置根据获取的所述记录数据块，获取所述待查询索引值对应的记录的序号对应的存储位置信息；所述日志文件查询装置根据获取的所述记录的序号的存储位置信息，从所述日志文件中获取所述待查询索引值对应的记录。