[发明专利]一种大数据聚合查询方法

说明书

本发明提供了一种大数据聚合查询方法，该方法包括：在需要同步的源数据表中增加标识字段；部署Logstash集群作为数据同步中间件；部署Elasticsearch集群作为数据存储系统；在Logstash集群中设置数据同步配置文件；在Elasticsearch集群中设置Elasticsearch索引，存储业务信息、业务统计数据；启动Logstash集群同步数据。应用本发明可以解决微服务架构中跨服务、跨数据库的关联查询问题，提高教育云平台上的软件的查询效率。

技术领域

本申请涉及数据查询技术领域，尤其涉及一种大数据聚合查询方法。

背景技术

目前，随着计算机技术和网络技术创新进步，特别是虚拟化技术的进步，还有新概念、新方案的创新和发展，尤其是Docker技术的快速发展，为在线教育云平台的推出奠定了基础。

在现有技术中，教育云平台一般采用微服务架构。微服务架构解决了传统的分层架构中的一些问题，它的核心特点是高可伸缩性、易于开发、测试和部署独立的服务组件，这些服务组件解耦的、分布式的、相互独立的。

但是，在教育云平台上采用微服务架构时，由于源数据分布在各个数据库中，因此在对源数据进行查询时，难以解决跨服务、跨数据库的关联查询问题，查询效率较低。

发明内容

有鉴于此，本发明提供了一种大数据聚合查询方法，从而可以解决微服务架构中跨服务、跨数据库的关联查询问题，提高教育云平台上的软件的查询效率。

本发明的技术方案具体是这样实现的：

一种大数据聚合查询方法，该方法包括如下步骤：

在需要同步的源数据表中增加标识字段；

部署Logstash集群作为数据同步中间件；

部署Elasticsearch集群作为数据存储系统；

在Logstash集群中设置数据同步配置文件；

在Elasticsearch集群中设置Elasticsearch索引，存储业务信息、业务统计数据；

启动Logstash集群同步数据。

较佳的，所述源数据表为基础数据库中的用户表或业务数据库中的业务表。

较佳的，所述标识字段为时间戳。

较佳的，所述启动Logstash集群同步数据包括：

当源数据表中的数据发生变更时，更改源数据表中的标识字段的取值；

Logstash集群按照预设时间间隔轮询相应的源数据表；

当Logstash集群检测到源数据表中的标识字段的取值发生变化时，从源数据表中读取变更后的数据并进行处理；

Logstash集群将处理后的数据输出至Elasticsearch集群中。

较佳的，所述Logstash集群包括多个Logstash。

较佳的，当Logstash集群包括第一Logstash和第二Logstash时，所述部署Logstash集群作为数据同步中间件包括如下的步骤：

将第一Logstash和第二Logstash注册到ZooKeeper中；

第一Logstash和第二Logstash抢占同步锁，进行数据同步，将各自的同步状态保存到ZooKeeper中；

当ZooKeeper侦听到其中一个Logstash发生异常时，将执行权转交给另一个Logstash；