[发明专利]一种基于分布式存储的日志检索方法、装置及存储介质

说明书

本发明公开了一种基于分布式存储的日志检索方法、装置及存储介质，所述的日志检索方法，包括：将日志按照自定义类别划分条件进行分类，并按照设定时间维度拆分为对应各个类别的日志块；针对各个日志块进行存储并建立日志块索引；接收目标日志检索信息，通过日志块索引信息检索目标日志所对应的目标日志块，并发针对目标日志块进行全文检索得到目标日志的检索结果信息。本发明针对日志块做索引，而非每条日志，所以整体的索引数据量会减少千倍以上，在写入日志时也不再需要去更新索引，这就节省了大量的CPU；与之相应的，在进行日志检索时先检索出目标检索日志对应所属的日志块，再在日志块中进行全文检索，极大的提升了检索的效率。

技术领域

本发明涉及日志检索技术领域，具体的涉及一种基于分布式存储的日志检索方法、装置及存储介质。

背景技术

云计算环境中分布式部署了大量的物理设备、业务系统，同时，也部署了运维，安全管理等的平台监控、管理系统，日志信息成为平台监控、管理的重要手段，海量的、来自不同设备的、系统的分布式日志信息需要被多个系统使用，平台中一旦设备出现问题，日志信息就成为排查故障，预防故障的重要手段。

现有技术中，大多搭建ELK平台(分布式日志搜索平台，由Elasticsearch搜索服务器，Logstash数据收集引擎，Kibana可视化平台等工具组成)来实现日志的搜索，其中Elasticsearch基于Lucene搜索引擎(全文搜索引擎)，提供了index(索引)存储、集群管理、搜索等功能；Logstash负责日志采集；Kibana则提供日志查询界面，具体由Logstash采集日志，并统一存储在Elasticsearch集群，用户通过Kibana发起日志搜索请求时，在集群中查找对应的日志并在Kibana展示。

不过ELK平台需要对所有日志建立全文索引，并且索引和日志数据都存储在本地磁盘上，日志场景会面临以下两种情况：

1.数据量庞大，一个用户请求会通过多个服务来进行处理，从而会产生上百条的日志，因此，整个云计算环境会产生海量的日志需要被存储，针对海量日志的存储压力巨大。

2.保存时间长，日志需要长时间保存，以便后续的问题排查、审计使用。

在面临海量日志时,使用ELK平台就对机器CPU和磁盘空间造成了很大的压力,要保存大量的日志并提供检索无疑需要耗费高昂的成本。

有鉴于此，特提出本发明。

发明内容

本发明为了解决上述技术问题，提出了一种基于分布式存储的日志检索方法、装置及存储介质，致力于降低海量日志场景下日志检索平台的成本，能够使用更少的CPU支持更大量的日志写入量，使每GB的存储成本降低一个数量级，具体技术方案如下：

一种基于分布式存储的日志检索方法，包括：

将日志按照自定义类别划分条件进行分类，并按照设定时间维度拆分为对应各个类别的日志块；

针对各个日志块进行存储并建立日志块索引；

接收目标日志检索信息，通过日志块索引信息检索目标日志所对应的目标日志块，并发针对目标日志块进行全文检索得到目标日志的检索结果信息。

作为本发明的可选实施方式，所述将日志按照自定义类别划分条件进行分类，并按照设定时间维度拆分为对应各个类别的日志块包括：

自定义同一类别日志的划分条件包括：是否为同一个机器产生的日志，和/或是否同属于同一个模块的日志，和/或是否为同一种类型的日志，或者是否为同一个日志级别。

作为本发明的可选实施方式，本发明的基于分布式存储的日志检索方法分别在各个机器上部署日志采集代理，日志采集代理获取所部署机器的日志信息，并在上传日志信息时附带所属机器名称标签、和/或所属模块名称标签、和/或日志类型标签、和/或日志级别标签；