[发明专利]一种基于Clickhouse频繁删改查优化的方法及系统

权利要求书

1.一种基于Clickhouse频繁删改查优化的方法，其特征在于，该方法包括以下的步骤：

S1、数据的同步，同步原始数据库中的实时操作日志数据解析存储到kafka集群和mongodb；

S2、流水数据的消费，应用端Application分别同kafka集群、mongodb以及clickhouse集群相连，当应用端Application消费流水数据，应用端Application则先去查询mongodb的数据，如若查询不到，则再去查询clickhouse集群的数据；

S3、对查询数据的操作，当应用端Application在mongodb查询到数据后，更新该数据或者删除该数据，则直接操作mongodb；当应用端Application未在mongodb查询到数据，而在clickhouse集群查询到数据后，则将Application的查询记录回写到前置的mongodb提供查询；

S4、增量数据的定时同步，mongodb与clickhouse集群相连接，mongodb定时同步增量数据至clickhouse集群。

2.根据权利要求1所述的一种基于Clickhouse频繁删改查优化的方法，其特征在于，所述的步骤S1中，所述的原始数据库为Oracle数据库或Mysql数据库。

3.根据权利要求1所述的一种基于Clickhouse频繁删改查优化的方法，其特征在于，所述的步骤S1中，采用OGG或Canal实现数据的同步。

4.根据权利要求1所述的一种基于Clickhouse频繁删改查优化的方法，其特征在于，所述的步骤S2中，当应用端Application查询最近三天的数据时，则去mongodb中查询。

5.根据权利要求4所述的一种基于Clickhouse频繁删改查优化的方法，其特征在于，所述的步骤S2中，当应用端Application查询历史数据时，则去clickhouse集群中查询。

6.根据权利要求1所述的一种基于Clickhouse频繁删改查优化的方法，其特征在于，所述的步骤S4中，通过定时同步增量数据至clickhouse集群，以保证clickhouse集群数据的完整性。

7.一种基于Clickhouse频繁删改查优化的系统，其特征在于，该系统包括原始数据库、kafka集群、mongodb、应用端Application以及clickhouse集群；

所述的原始数据库，用于存储实时操作日志数据；

所述的kafka集群和mongodb，分别与原始数据库相连，同步原始数据库中的实时操作日志数据解析存储到kafka集群和mongodb；

所述的应用端Application，分别同kafka集群、mongodb以及clickhouse集群相连，该应用端Application用于实现对mongodb的数据查询以及对clickhouse集群的数据查询；

所述的clickhouse集群，与mongodb相连，mongodb定时同步增量数据至clickhouse集群。

8.根据权利要求7所述的一种基于Clickhouse频繁删改查优化的系统，其特征在于，所述的原始数据库为Oracle数据库或Mysql数据库。

9.根据权利要求7所述的一种基于Clickhouse频繁删改查优化的系统，其特征在于，所述应用端Application查询mongodb的数据为操作最近三天的数据。

10.根据权利要求7所述的一种基于Clickhouse频繁删改查优化的系统，其特征在于，所述应用端Application查询clickhouse集群的数据为历史数据。