[发明专利]一种基于分布式存储的日志检索方法、装置及存储介质

权利要求书

1.一种基于分布式存储的日志检索方法，其特征在于，包括：

将日志按照自定义类别划分条件进行分类，并按照设定时间维度拆分为对应各个类别的日志块；

针对各个日志块进行存储并建立日志块索引；

接收目标日志检索信息，通过日志块索引信息检索目标日志所对应的目标日志块，并发针对目标日志块进行全文检索得到目标日志的检索结果信息。

2.根据权利要求1所述的一种基于分布式存储的日志检索方法，其特征在于，所述将日志按照自定义类别划分条件进行分类，并按照设定时间维度拆分为对应各个类别的日志块包括：

自定义同一类别日志的划分条件包括：是否为同一个机器产生的日志，和/或是否同属于同一个模块的日志，和/或是否为同一种类型的日志，或者是否为同一个日志级别。

3.根据权利要求2所述的一种基于分布式存储的海量日志检索方法，其特征在于，分别在各个机器上部署日志采集代理，日志采集代理获取所部署机器的日志信息，并在上传日志信息时附带所属机器名称标签、和/或所属模块名称标签、和/或日志类型标签、和/或日志级别标签；

可选地，所述模块名称包括部署在机器上的各个服务名称；

可选地，所述日志类型包括业务访问日志(access.log)、和/或数据库访问日志(sql.log)、和/或业务日志(server.log)；同时所述日志类型也支持业务自定义，所述日志采集代理会将日志类型附带在日志信息里用于在检索时选择对应的日志类型；

可选地，所述的日志级别包括：

DEBUG指出细粒度信息事件对调试应用程序是非常有帮助的；

INFO表明消息在粗粒度级别上突出强调应用程序的运行过程；

WARN表明会出现潜在错误的情形；

ERROR指出虽然发生错误事件，但仍然不影响系统的继续运行；

FATAL指出每个严重的错误事件将会导致应用程序的退出。

4.根据权利要求2所述的一种基于分布式存储的日志检索方法，其特征在于，包括：

针对全部类别的日志块设定统一的时间维度，将采集的所有日志缓存至设定的统一的时间维度后，拆分成对应类别的日志块。

5.根据权利要求1所述的一种基于分布式存储的日志检索方法，其特征在于，所述针对各个日志块进行存储并建立日志块索引包括：

按照系统预设时间条件针对各日志块进行多级存储；

将满足第一预设时间条件的日志块存储在本地磁盘上，将满足第二预设时间条件的日志块压缩后上传至远程存储上，将满足第三预设时间条件的冷日志块数据从远程存储转移至归档存储中保存。

6.根据权利要求1所述的一种基于分布式存储的日志检索方法，其特征在于，所述针对各个日志块进行存储并建立日志块索引包括：

按照系统预设存储量条件针对各日志块进行多级存储；

将小于第一预设存储量条件的日志块存储在本地磁盘上，当本地磁盘上存储的日志块超过第一预设存储量条件时，将本地磁盘上存储时间超过第一设定值的日志块压缩后上传至远程存储上进行存储；

当远程存储上存储的日志块超过第二预设存储量条件时，将远程存储上存储时间超过第二设定值的冷日志块数据从远程存储转移至归档存储中保存。

7.根据权利要求5或6所述的一种基于分布式存储的日志检索方法，其特征在于，所述针对各个日志块建立日志块索引包括：

针对各个日志块建立索引，所述的索引内容包括：时间、日志块元信息及日志块存储位置；其中，所述的日志块元信息包括日志块所属的机器信息和/或模块信息和/或类型信息和/或级别信息。