[发明专利]一种多源数据聚合搜索方法、装置、设备及存储介质

说明书

本申请公开了一种多源数据聚合搜索方法、装置、设备及存储介质。该方法包括：构建基于GraphQL的聚合搜索服务器，并根据目标应用类型配置各类业务微服务对应的数据聚合格式；监听目标业务数据库以获取相应的变更数据，并利用所述聚合搜索服务器根据所述变更数据的数据类型调用对应的业务微服务，以得到与所述变更数据对应的聚合数据，并将所述聚合数据存储至ES数据库；利用所述聚合搜索服务器接收前端定制并发送的数据搜索请求，并根据所述数据搜索请求从所述ES数据库中查询得到对应的目标聚合数据反馈给所述前端。可以自动实现聚合数据维护，并利用GraphQL特性减少聚合数据的数据量，避免反馈数据中的数据冗余问题。

技术领域

本发明涉及计算机技术领域，特别涉及一种多源数据聚合搜索方法、装置、设备及存储介质。

背景技术

目前，多类领域对多业务源数据的聚合搜索均有着强大的需求，现有技术中，将多个源库的数据同步到同一个数据库实例中，然后利用结构化查询语言对多库表进行JOIN形式的聚合查询，并针对不同的业务需求开发不同的API接口提供数据服务。但是，由于多源数据库数据同步一般是以备份库的形式同步到指定聚合数据库实例中，表及表字段中有很多在搜索场景中并不需要的数据，这会导致聚合数据量大同步慢，性能较低。并且，利用传统的结构化查询语言进行搜索数据时难以解决一些范围、模糊的搜索条件带来的性能问题，严重时会导致数据库实例瘫痪。另外，同类数据在不同的业务场景下往往需要不同的聚合搜索结果，传统的做法会提供一定程度上的通用接口，但需要冗余很多的数据，这些数据往往是兼容所有场景的，这会对网络通信造成压力，在网速较慢时用户无法接受；且不同类数据的业务需求需要搜索时，前端往往需要调用多个接口来获取不同的数据，这会发生多次网络请求，对网通通信同样造成压力。降低了多源数据聚合及搜索的效率。

发明内容

有鉴于此，本发明的目的在于提供一种多源数据聚合搜索方法、装置、设备及介质，能够提高多源数据的聚合搜索效率。其具体方案如下：

第一方面，本申请公开了一种多源数据聚合搜索方法，包括：

构建基于GraphQL的聚合搜索服务器，并根据目标应用类型配置各类业务微服务对应的数据聚合格式；

监听目标业务数据库以获取相应的变更数据，并利用所述聚合搜索服务器根据所述变更数据的数据类型调用对应的业务微服务，以得到与所述变更数据对应的聚合数据，并将所述聚合数据存储至ES数据库；

利用所述聚合搜索服务器接收前端定制并发送的数据搜索请求，并根据所述数据搜索请求从所述ES数据库中查询得到对应的目标聚合数据反馈给所述前端。

可选的，所述利用所述聚合搜索服务器根据所述变更数据的数据类型调用对应的业务微服务，包括：

基于监听到的所述变更数据生成待维护索引数据的Kafka消息队列；

通过预先创建的Kafka消费者，按照队列顺序读取所述Kafka消息队列中的待维护索引数据的目标关键字段；

基于所述目标关键字段生成服务调用请求发送给所述聚合搜索服务器，以便所述聚合搜索服务器在接收到所述服务调用请求后，识别所述服务调用请求中所述目标关键字段的数据类型，并根据所述数据类型调用对应的业务微服务。

可选的，所述利用所述聚合搜索服务器接收前端定制并发送的数据搜索请求，并根据所述数据搜索请求从所述ES数据库中查询得到对应的目标聚合数据反馈给所述前端，包括：

利用所述聚合搜索服务器接收网关路由在获取到所述前端发送的数据搜索请求后发送的搜索服务调用请求；其中，所述数据搜索请求为所述前端基于所述GraphQL根据目标需求数据类型定制的聚合数据搜索请求；

根据所述目标需求数据类型从所述ES数据库中查询得到对应的目标聚合数据，并反馈给所述前端。