[发明专利]一种加速Elasticsearch搜索的方法及装置

说明书

本发明提供了一种加速Elasticsearch搜索的方法及装置，所述加速Elasticsearch搜索的方法包括：S1、对Elasticsearch所有索引数据添加一个时间元数据信息，并将所述时间元数据信息保存到Redis数据库，生成索引列表；S2、根据客户端请求，获取用户要搜索的日志时间范围，判断其为同步查询还是异步查询；S3、若为所述同步查询，搜索所述索引列表，通过语法计算得到同步准确索引列表；S4、若为所述异步查询，通过组合得到异步准确索引列表；S5、将查询结果返回给所述客户端。本发明的方法通过构建详细的时间元数据信息，提高海量日志搜索效率，降低慢查询、查询超时出现频率。

技术领域

本发明属于计算机技术领域，具体而言属于一种加速Elasticsearch搜索的方法及装置。

背景技术

Elasticsaerch是一个分布式、支持多租户、实时搜索和数据分析的全文搜索引擎。通过部署多节点Elasticsearch集群，用户可以方便有效的管理PB量级的日志。而针对海量日志，Elasticsearch通过索引生命周期管理功能，实现热温冷数据存储架构。在该架构下，一般我们可以通过索引别名，快速搜索到最近时间的日志。但是随着查询时间范围的扩大，符合条件的日志数量也会快速增加，因为Elasticsearch执行分布式检索时候，会查询同一别名下的所有索引，如果还是通过索引别名搜索，可能会出现慢查询，甚至查询超时情况。

有鉴于此，特提出本发明。

发明内容

有鉴于此，本发明公开了一种加速Elasticsearch搜索的方法及装置，通过构建详细的时间元数据信息，提高海量日志搜索效率，降低慢查询、查询超时出现频率。

具体地，本发明是通过以下技术方案实现的：

第一方面，本发明公开了一种加速Elasticsearch搜索的方法，包括如下步骤：

S1、对Elasticsearch所有索引数据添加一个时间元数据信息，并将所述时间元数据信息保存到Redis数据库，生成索引列表；

S2、根据客户端请求，获取用户要搜索的日志时间范围，并判断其为同步查询还是异步查询；

S3、若为所述同步查询，利用Elasticsearch_msearch接口搜索所述索引列表，并计算不符合时间范围条件的同步miss_list，通过语法计算得到同步准确索引列表；

S4、若为所述异步查询，利用Elasticsearch_async_search接口搜索所述索引列表，并分别计算符合时间范围条件的异步hit_list和不符合时间范围条件的异步miss_list，添加未来索引feture_list，通过组合得到异步准确索引列表；

S5、将查询结果返回给所述客户端。

上述通过对Elasticsearch所有索引数据添加一个时间元数据信息，构建了更加详细的集群索引元数据信息，用户在实际查询时候，根据查询时间范围条件，获取索引列表，然后使用索引列表进行计算查询得到准确索引列表，显著提高海量日志的搜索效率。

进一步地，所述S1步骤中，所述时间元数据信息添加的方法包括：

新建周期性任务并运行，查询分析Elasticsearch集群当前所有所述索引数据；通过桶聚合获取每个所述索引数据date字段的最值，并添加到所述时间元数据信息中。

具体地，通过Elasticsearch的_cat/indices接口，获取集群当前所有索引列表；利用_cat/aliases接口，获取每个索引别名和is_write_index信息；利用max_bucket、min_bucket桶聚合获取每个索引date字段的最值max_date、min_date，需要注意，is_write_index为true的索引不需要计算max_date,因为该索引中最新日志仍然在不断写入。