[发明专利]一种基于两级索引的分布式日志处理和查询方法

摘要

本发明公开了一种基于两级索引的分布式日志处理和查询方法，包括以下步骤：1）日志收集：通过日志服务动态库向日志服务程序发送日志信息；2）日志转储：日志服务程序接收到日志客户端发送的日志记录并将日志写入到日志文件；3）日志索引创建及更新：日志索引处理程序对系统内的索引文件进行处理；4）日志查询：日志查询客户端向服务端程序发送查询请求，服务程序接受查询请求后，通过二级索引的方式快速定位到相关的日志信息并将查询到的日志返回给查询客户端。本发明是一种可支持分布式日志管理、支持跨节点查询、基于索引技术查询效率高、可移植性好、跨平台、部署简单的分布式日志处理和查询方法。

主权项

一种基于两级索引的分布式日志处理和查询方法，其特征在于，包括以下步骤：1）日志收集：服务程序启动后，将配置信息读入内存，初始化日志接收端口等待日志客户端程序写日志，日志客户端程序调用日志服务动态库接口写日志，日志服务动态库根据配置信息写入本地或远程节点日志文件中；2）日志转储：日志服务程序接收到日志客户端发送的日志记录并将日志写入到日志文件后，日志服务程序判断写入后的日志文件大小是否超过限制；若日志文件大小超过限制，日志服务程序将这个日志文件进行转储，并判断系统内的日志文件总个数和当日日志文件总个数是否超过相对应的文件个数限制，若超过，则删除相对应个数；3）日志索引创建及更新：日志索引处理程序启动后对日志索引文件进行检查；若没有日志索引文件，则对相应的日志文件创建索引文件后进入日志索引处理状态；若有日志索引文件，则直接进入日志索引处理状态；由日志索引处理对现有日志文件进行索引更新，并对日志转储文件进行检查；4）日志查询：由日志查询工具向日志索引处理程序发送日志查询请求；日志索引处理程序接受查询请求并通过二级索引方式查询符合条件的日志并将其发送给日志查询工具，由日志查询工具进行统一的整合。