[发明专利]一种基于两级索引的分布式日志处理和查询方法

说明书

技术领域

本发明涉及一种基于两级索引的分布式日志处理和查询方法，属于计算机技术领域。

背景技术

现有的日志管理系统，一般只是对本机日志的收集转储功能，无法支持分布式环境下的日志收集。另外，现有的日志管理系统无法对日志进行查询，即使有日志查询功能，也只能在本机进行查询，无法支持跨节点查询。

发明内容

本发明所要解决的技术问题是提供一种支持分布式日志处理和查询方法。

为解决上述问题，本发明提供一种基于两级索引的分布式日志处理和查询方法。本发明以支持分布式日志处理和查询为目的，支持日志信息的多输出方式以及丰富的日志信息为次要目的，以配置文件、索引文件为调控方法，提供了一种本地、远程可选的日志收集、日志信息多样性、日志输出方式多样性、支持跨节点查询、查询效率高的分布式日志处理和查询方法。

本发明采用以下的技术方案来实现：

本发明是一种基于两级索引的分布式日志处理和查询方法，其特征在于，包括以下步骤：

1）日志收集：服务程序启动后，根据配置将配置信息读入内存，初始化日志接收端口等待日志客户端程序写日志，日志客户端程序调用日志服务动态库接口写日志，此过程可以配置本机接收或者远程机器接收，日志服务动态库根据配置信息将其写入本地或远程节点日志文件中；

2）日志转储：日志服务程序接收到日志客户端发送的日志记录并将日志写入到日志文件后，日志服务程序判断写入后的日志文件大小是否超过限制；若日志文件大小超过限制，日志服务程序将这个日志文件进行转储，并判断系统内的日志文件总个数和当日日志文件总个数是否超过相对应的文件个数限制，若超过，则删除相对应个数；

到达固定大小上限时对日志文件进行改名转储，避免单个日志文件过大。且当文件数目达到可配置的上限时删除最旧的日志文件，避免日志文件占满整个硬盘，且始终保持硬盘上存有此固定周期内的最新日志。

3）日志索引创建及更新：日志索引处理程序启动后对日志索引文件进行检查；若没有日志索引文件，则对相应的日志文件创建索引文件后进入日志索引处理状态；若有日志索引文件，则直接进入日志索引处理状态；由日志索引处理对现有日志文件进行索引更新，并对日志转储文件进行检查；例如：日志转储文件被按一定的规则删除后，相对应的索引文件的删除以及更新等。

4）日志查询：日志查询功能主要是由日志查询工具向日志索引管理程序发送日志查询请求；日志查询工具通过网络套接字的方式向日志索引管理程序发送日志查询请求以及查询条件，日志索引处理程序接受查询请求并通过二级索引方式查询符合条件的日志并将其发送给日志查询工具，由日志查询工具进行统一的整合。

提供按照一定的时间段查询本地日志。查询结果相对于原日志文件更加精简，便于网络传输，更加适合查询人定位系统故障。

使用两级索引辅助查询。第一级索引为单个日志文件中日期和时间与在文件中的偏移量的对应关系，第二级索引为日期和时间与日志文件名的对应关系。

创建索引是增量进行。二级索引每当创建一个新日志文件和一个日志文件到达大小上限进行转储时进行增量替换。为提高系统I/O效率，一级索引每小时修改一次。

当日志文件进行转储或者变化时，先进行索引的更新后再进行查询。当查询时间段处于一级索引未更新的一小时内时，先进行索引的更新后再进行查询。

当查询的参数中指明了远程节点时，通过网络通信在异地启动查询进程，并通过日志处理程序返回查询结果，实现分布式日志查询。

上述步骤均由计算机程序实现，能够运行在各种UNIX和Linux、Windows操作系统上，且不依赖任何除服务器以外的硬件设备。

本发明所达到的有益效果：

本发明通过以上步骤，可达以下技术效果：1、可支持分布式的日志收集和本机日志收集；2、可支持跨节点的日志查询；3、查询效率高，采用二级索引进行日志查询，提高了日志查询效率；4、可移植性好，所有功能完全是计算机程序实现，可运行在各种UNIX和Linux、Windows操作系统上，不需要借助任何操作系统自带的软件；5、具有跨平台能力，源端和目的端可部署在不同操作系统的服务器上；6、日志是否发送远程，日志文件大小上限，日志文件个数上限等参数编程可调；7、部署简单，只需部署服务程序、动态库以及配置文件即可运行。综上所述，本发明是一种可支持分布式日志管理、支持跨节点查询、基于索引技术查询效率高、可移植性好、跨平台、部署简单的分布式日志处理和查询方法。

附图说明

图1 是本发明中日志处理服务流程图；