[发明专利]一种日志压缩和索引方法

摘要

本发明公开了一种日志压缩和索引方法，1)日志数据特点分析；2)日志预处理；3)压缩算法组合；4)压缩数据索引；5)数据解压缩还原；6)条件查询，采用条件查询模块，其根据用户提供过的字段条件，输出满足字段条件的日志记录数据,实现日志的压缩和索引。本发明提供了一种日志压缩和索引方法，对日志的特点，进行预处理和可逆变换，使之成为更适合压缩的格式，综合运用各种压缩算法，达到最大压缩率的要求，且压缩后的数据便于查询，保证数据完整性、正确性。

主权项

1.一种高效的日志压缩和索引方法，其特征在于，包括以下步骤：1)日志数据特点分析，采用日志数据特点解析模块对日志自身的特点进行解析，包括对日志结构、日志字段数据类型、单字段重复及相似程度和字段间的关系约束等特点进行解析，输出解析结果；2)日志预处理，采用日志预处理模块根据日志分析模块输出的特点，对原始日志数据进行处理，处理内容包括排序、分列、分块及聚合，将数据各字段处理成重复或者相似度高的格式，使数据既能易于压缩，又不会增加检索查询的消耗，然后输出处理好的分块数据；3)压缩算法组合，采用压缩算法组合模块对日志数据进行初次压缩，通过机器学习的方式选择、排列出最优的编码和压缩算法，生成压缩算法组合表；4)压缩数据索引，对于需要查询的字段，压缩数据索引模块提供查询字段对应压缩数据的索引表；5)数据解压缩还原，数据解压缩还原模块根据索引表，对压缩结果进行逆向处理，还原出原始数据；6)条件查询，采用条件查询模块，其根据用户提供过的字段条件，输出满足字段条件的日志记录数据,实现日志的压缩和索引。