[发明专利]一种大数据聚合查询方法

权利要求书

1.一种大数据聚合查询方法，其特征在于，该方法包括如下步骤：

在需要同步的源数据表中增加标识字段；

在聚合数据库中设置中间表作为业务查询表；

部署Logstash集群作为数据同步中间件；

在Logstash集群中设置数据同步配置文件；

启动Logstash集群同步数据；

所述启动Logstash集群同步数据包括：

当源数据表中的数据发生变更时，更改源数据表中的标识字段的取值；

Logstash集群按照预设时间间隔轮询相应的源数据表；

当Logstash集群检测到源数据表中的标识字段的取值发生变化时，从源数据表中读取变更后的数据并进行处理；

Logstash集群将处理后的数据输出至聚合数据库中的中间表；

当Logstash集群包括第一Logstash、第二Logstash和第三Logstash时：

将第一Logstash、第二Logstash和第三Logstash注册到ZooKeeper中；

将第一Logstash和第三Logstash作为主Logstash，将第二Logstash作为从Logstash，将各个主Logstash的同步状态保存到ZooKeeper中；

当任意一个主Logstash的服务出现问题时，由ZooKeeper选举产生新的主Logstash；

新的主Logstash从ZooKeeper获取数据同步状态，继续执行任务。

2.根据权利要求1所述的方法，其特征在于：

所述源数据表为基础数据库中的用户表或业务数据库中的业务表。

3.根据权利要求2所述的方法，其特征在于：

所述标识字段为时间戳。

4.根据权利要求2所述的方法，其特征在于：

所述基础数据库中的用户表中的数据包括：用户编号、姓名和性别；

所述业务数据库中的业务表中的数据包括：用户编号和业务数据。

5.根据权利要求1所述的方法，其特征在于，所述更改源数据表中的标识字段的取值为：

将时间戳的取值更改为当前数据发生变更的时间。