[发明专利]一种日志搜索方法、装置、设备及存储介质

说明书

本发明公开了一种日志搜索方法、装置、设备及存储介质。该方法包括：接收用户端发送的日志搜索指令，根据所述日志搜索指令确定日志元数据中的至少一个目标元数据；根据各所述目标元数据确定待搜索日志客户端，并将所述日志搜索指令发送至待搜索日志客户端；接收所述待搜索日志客户端基于所述日志搜索指令搜索的目标压缩数据，对所述目标压缩数据进行解压，得到目标日志。本发明实现了根据日志元数据中进行初步检索，在数量较多的日志客户端中针对性的确定出待搜索日志客户端，由待搜索日志客户端分别进行本地日志的搜索操作，数据在本地存储及搜索节省了与其他集群机器数据传输的环节，减少了带宽压力，提高了日志搜索效率，节省了搜索成本。

技术领域

本发明实施例涉及信息处理技术领域，尤其涉及一种日志搜索方法、装置、设备及存储介质。

背景技术

日志条目中的字段描述了特定交易的信息，例如日期，IP地址，执行的操作等，是许多企业应用故障排除、安全监控以及电子取证等操作的基础数据。日志文件由捕获的许多不同的日志条目组成或由某些系统生成。随着大数据时代的来临，数据产生速度加快、数据体量巨大，人力提取和存储日志无法跟上机器产生数据的速度。由于日志数量和类型的增长，对日志内容进行分析并追踪潜在的问题越来越困难。

现有日志搜索管理大多采用搭建ELK平台(分布式日志搜索平台，由Elasticsearch搜索服务器，Logstash数据收集引擎，Kibana可视化平台等工具组成)来实现日志的搜索，其中Elasticsearch基于Lucene全文搜索引擎提供了index索引存储、集群管理、搜索等功能；Logstash负责日志采集；Kibana则提供日志查询界面，具体由Logstash采集日志，并统一存储在Elasticsearch集群，用户通过Kibana发起日志搜索请求时，在集群中查找对应的日志并在Kibana展示。

然而现有的ELK平台由于是通过Logstash采集日志数据并传输到Elasticsearch集群进行统一存储，因此，当日志量较大时，势必会对网络带宽带来较大的压力。同时，由于采用统一的集群管理，搜索日志时需要从集群中的列表进行搜索，在日志较多的情况下，搜索所需时长较长，导致搜索效率较低，运行消耗资源巨大。

发明内容

本发明提供一种日志搜索方法、装置、设备及存储介质，以实现低成本快速日志。

第一方面，本发明实施例提供了一种日志搜索方法，包括：

接收用户端发送的日志搜索指令，根据所述日志搜索指令确定日志元数据中的至少一个目标元数据；

根据各所述目标元数据确定待搜索日志客户端，并将所述日志搜索指令发送至待搜索日志客户端；

接收所述待搜索日志客户端基于所述日志搜索指令搜索的目标压缩数据，对所述目标压缩数据进行解压，得到目标日志。

可选的，在接收用户端发送的日志搜索指令之前，还包括：

采集各日志客户端的日志数据，将同一日志客户端的日志数据建立索引关系并压缩存储至对应的业务机器中。

可选的，在采集各日志客户端的日志数据之后，还包括：

提取所述日志数据中的日志关键信息，并对各所述日志关键信息进行格式化处理。

可选的，在采集各日志客户端的日志数据之后，还包括：

根据各所述日志数据确定对应的日志属性信息，并结合各所述日志客户端的客户端属性信息，构建所述日志元数据。

可选的，在构建所述日志元数据之后，还包括：

将所述日志元数据进行倒排索引并压缩存储。

可选的，所述根据所述日志搜索指令确定日志元数据中的至少一个目标元数据，包括：