[发明专利]一种分布式日志的采集和检索方法

权利要求书

1.一种分布式日志的采集和检索方法，其特征在于，具体按照以下步骤实施：

步骤1、日志采集：

日志采集网络采集日志信息，通过通用接口将不同来源的日志信息存储在存储系统中，通过通用接口将不同类型及不同来源的日志信息保存成为统一字符编码的日志文件；

步骤2、日志处理：

日志搜索系统将经步骤2保存到存储系统中的日志文件进行切分，对切分后的日志信息进行索引操作，根据日志内的关键属性，日志搜索系统从非结构化日志数据中提取数据，并重新组织成为日志信息索引，日志信息索引的结构包括“日志索引”“日志索引段”“日志索引文档”“日志索引域”和“日志索引项”五个不同的层次；

步骤3、日志检索：

将经步骤2形成的日志信息索引进行日志检索，完成对分布式日志的采集和检索。

2.根据权利要求1所述的一种分布式日志的采集和检索方法，其特征在于，所述步骤1中，通用接口包括日志生成接口、日志编排接口和日志传输接口。

3.根据权利要求1所述的一种分布式日志的采集和检索方法，其特征在于，所述步骤2中，关键属性包括日志产生时间、日志类型、日志关键字、日志内容和日志级别；非结构化日志数据包括视频数据、音频数据、图片数据、图像数据、文档数据和文本数据。

4.根据权利要求1所述的一种分布式日志的采集和检索方法，其特征在于，所述日志信息索引包含一个“日志索引文档”序列，一个“日志索引文档”是一个“日志索引域”序列，一个“日志索引域”是一个“日志索引项”的命名序列。

5.根据权利要求1所述的一种分布式日志的采集和检索方法，其特征在于，步骤2中，日志搜索系统还对日志信息索引进行缓存处理。

6.根据权利要求1-5任一项所述的一种分布式日志的采集和检索方法，其特征在于，所述步骤3中，日志检索的方法包括搜索日志索引和集群检索。

7.根据权利要求6所述的一种分布式日志的采集和检索方法，其特征在于，所述搜索日志索引，是利用步骤2的日志信息索引，得到每个查询关键字的文档链表，对文档链表进行文档公共内容过滤、文档差异内容过滤、文档内容合并处理，得到结果文档。

8.根据权利要求6所述的一种分布式日志的采集和检索方法，其特征在于，所述集群检索，是使用分片模式切分数据，将数据分布在整个集群中，每个分片为一个完整的索引，然后合并索引来聚合所有的分片搜索查询。