[发明专利]一种基于两级索引的分布式日志处理和查询方法

权利要求书

1.一种基于两级索引的分布式日志处理和查询方法，其特征在于，包括以下步骤：

1）日志收集：服务程序启动后，将配置信息读入内存，初始化日志接收端口等待日志客户端程序写日志，日志客户端程序调用日志服务动态库接口写日志，日志服务动态库根据配置信息写入本地或远程节点日志文件中；

2）日志转储：日志服务程序接收到日志客户端发送的日志记录并将日志写入到日志文件后，日志服务程序判断写入后的日志文件大小是否超过限制；若日志文件大小超过限制，日志服务程序将这个日志文件进行转储，并判断系统内的日志文件总个数和当日日志文件总个数是否超过相对应的文件个数限制，若超过，则删除相对应个数；

3）日志索引创建及更新：日志索引处理程序启动后对日志索引文件进行检查；若没有日志索引文件，则对相应的日志文件创建索引文件后进入日志索引处理状态；若有日志索引文件，则直接进入日志索引处理状态；由日志索引处理对现有日志文件进行索引更新，并对日志转储文件进行检查；

4）日志查询：由日志查询工具向日志索引处理程序发送日志查询请求；日志索引处理程序接受查询请求并通过二级索引方式查询符合条件的日志并将其发送给日志查询工具，由日志查询工具进行统一的整合。

2.根据权利要求1所述的基于两级索引的分布式日志处理和查询方法，其特征在于，步骤4）中，日志查询工具通过网络套接字的方式向日志索引处理程序发送日志查询请求以及查询条件。

3.根据权利要求1所述的基于两级索引的分布式日志处理和查询方法，其特征在于，步骤4）中，使用两级索引辅助查询，第一级索引为单个日志文件中日期和时间与在文件中的偏移量的对应关系，第二级索引为日期和时间与日志文件名的对应关系。

4.根据权利要求1所述的基于两级索引的分布式日志处理和查询方法，其特征在于，步骤3）中，创建索引是增量进行，二级索引每当创建一个新日志文件和一个日志文件到达大小上限进行转储时，进行增量替换；一级索引每小时修改一次。

5.根据权利要求4所述的基于两级索引的分布式日志处理和查询方法，其特征在于，当日志文件进行转储或者变化时，先进行索引的更新后再进行查询；当查询时间段处于一级索引未更新的一小时内时，先进行索引的更新后再进行查询。

6.根据权利要求1所述的基于两级索引的分布式日志处理和查询方法，其特征在于，当查询的参数中指明了远程节点时，通过网络通信在异地启动查询进程，并通过日志处理程序返回查询结果，实现分布式日志查询。