[发明专利]基于elasticsearch的复杂业务数据优化检索方法以及装置

说明书

本公开是关于一种基于elasticsearch的复杂业务数据优化检索方法、装置、电子设备以及存储介质。其中，该方法包括：基于elasticsearch对数据存储层进行底层优化，提高检索速度时效；根据预设同步策略，对优化后的数据存储层进行同步操作；基于elasticsearch的预设检索策略，根据用户需求，完成对同步后数据的检索，生成检索结果；承接数据检索层的所述检索结果，按照预设集成策略，完成应用层集成。本公开通过对现有复杂业务数据检索方法的优化，提高了检索效率，降低了硬件部署成本。

技术领域

本公开涉及大数据分析和检索领域，具体而言，涉及一种基于elasticsearch的复杂业务数据优化检索方法、装置、电子设备以及计算机可读存储介质。

背景技术

当前，绝大部分复杂业务的查询数据都存储在结构化数据中，随着业务量的增加，结构化数据库中的业务数据量也越来越大。数据库层面的索引、分区等优化方案不能满足复杂业务数据查询的时效要求，增加缓存的优化方案不能应对复杂查询的情况，而仅依靠增加硬件配置的成本又相对较高。

因此，需要一种或多种方法解决上述问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种基于elasticsearch的复杂业务数据优化检索方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开的一个方面，提供一种基于elasticsearch的复杂业务数据优化检索方法，包括：

数据存储层优化步骤，基于elasticsearch对数据存储层进行底层优化，提高检索速度时效；

数据同步层优化步骤，根据预设同步策略，对优化后的数据存储层进行同步操作；

数据检索层优化步骤，基于elasticsearch的预设检索策略，根据用户需求，完成对同步后数据的检索，生成检索结果；

应用层优化步骤，承接数据检索层的所述检索结果，按照预设集成策略，完成应用层集成。

在本公开的一种示例性实施例中，所述数据存储层优化步骤还包括：

所述底层优化包括索引分区优化。

在本公开的一种示例性实施例中，所述数据存储层优化步骤还包括：

根据业务需要，定时跑批对底层结构化业务数据进行处理，保证底层数据的正确性。

在本公开的一种示例性实施例中，数据同步层优化步骤还包括，数据存储层的数据跑批情况，采取不同的同步策略：

若跑批数据不变，可以采取一次全量同步的同步策略；

若数据定时跑批，可以采取实时同步的同步策略。

在本公开的一种示例性实施例中，数据同步层优化步骤中同步方式还包括：

基于logstash的同步方式；

基于java编写程序借助es rest client api或transport client连接es并向es发出数据请求，通过并发的方式。

在本公开的一种示例性实施例中，所述数据检索层优化步骤的预设检索策略包括：

基于es-head插件、kibana的检索策略；

借助api的检索策略，所述api的检索策略可以是java api中的es rest clientapi或transport client。