[发明专利]一种数据检索方法、装置及系统

说明书

本申请提供一种数据检索方法、装置及系统，用于解决现有数据检索方法存在的无法同时支持全文检索和关联检索，导致用户体验较差的问题，所述方法包括：获取Elasticsearch数据库中任一索引中的Shard的数量和位置；在Doris数据库中创建与任一索引关联的任一表；接收客户端发送的关联检索请求；根据第一检索条件对Elasticsearch数据库进行检索，确定存储有满足第一检索条件的数据的Shard以及满足第一检索条件的数据的Rowkey的集合；根据第二检索条件对Doris数据库中与存储有满足第一检索条件的数据的Shard关联的Tablet进行检索，确定存储有满足第一检索条件的数据的Tablet。

技术领域

本申请涉及信息检索技术领域，尤其涉及一种数据检索方法、装置及系统。

背景技术

全文检索系统和关系型数据库是两种出现已久且发展相当成熟的技术，它们都可以提供数据的存储和检索。全文检索系统是根据预先建立的倒排索引文件确定出与用户终端提交的检索词匹配的文档，检索性能较好，但全文检索系统仅支持单表检索，对于各表之间的关联检索支持力度较弱。关系型数据库是由二维表及其之间的关系组成的一个数据组织，支持多表检索，对于各表之间的关联检索支持力度较强，但检索性能较差。

目前，基于全文检索系统来实现关联查询有两种实现方式：(1)将查询得到的中间结果集先缓存在内存中，再对所有中间结果集取交集得到最终结果集；(2)将前一个查询结果作为后一个查询结果的查询条件，执行多次查询后得到最终查询结果。但无论是哪种实现方式，在中间结果集数据量比较大的时候，都可能造成内存溢出的风险。而且中间结果必然涉及到数据的网络传输，性能会有较大的影响。

由此可见，现有的数据检索方法存在无法同时支持全文检索和关联检索的问题，导致用户体验较差。

发明内容

本申请实施例提供一种数据检索方法、装置及系统，用于解决现有的数据检索方法存在的无法同时支持全文检索和关联检索，导致用户体验较差的技术问题。

第一方面，为解决上述技术问题，本申请实施例提供一种数据检索方法，包括：

获取Elasticsearch数据库中任一索引中的数据分片Shard的数量和位置；

在Doris数据库中创建与所述任一索引关联的任一表；其中，所述任一表中的数据分桶Tablet的数量和位置与所述任一索引中的Shard的数量和位置关联；

接收客户端发送的关联检索请求；其中，所述关联检索请求中携带第一检索条件；

根据所述第一检索条件对所述Elasticsearch数据库进行检索，确定存储有满足所述第一检索条件的数据的Shard以及所述满足所述第一检索条件的数据的行键Rowkey的集合；

根据第二检索条件对所述Doris数据库中与所述存储有满足所述第一检索条件的数据的Shard关联的Tablet进行检索，确定存储有满足所述第一检索条件的数据的Tablet；其中，所述第二检索条件为检索包括所述Rowkey的集合中任一Rowkey的数据。