[发明专利]一种数据实时同步方法

权利要求书

1.一种数据实时同步方法，其特征在于，该方法包括在业务系统做预处理过程，获取数据信息并最终存入Clickhouse节点中，预处理过程包括下列步骤：

步骤1，应用程序拉取数据，获取外部配置参数，同步mongodb集群条件、分页信息以及主键；

步骤2，应用程序依据mongodb集群条件查询拉取的数据，再根据分页信息去mongodb集群查询数据，拉取到最后一条数据时更新查询条件，更新后的数据作为下一个查询的条件；

步骤3，根据主键的排序，应用程序将查询获取的数据写入多个Clickhouse-bulckproxy中；

步骤4，Clickhouse-bulck proxy将应用程序查询获取的数据写入Clickhouse节点中。

2.根据权利要求1所述的一种数据实时同步方法，其特征在于，步骤1中，应用程序依据程序设置定时拉取数据。

3.根据权利要求1所述的一种数据实时同步方法，其特征在于，步骤2中，根据查询条件，应用程序会初始化mongodb客户端和mongodb集群的交互信息，获取mongodb集群返回的数据。

4.根据权利要求1所述的一种数据实时同步方法，其特征在于，步骤3中，主键包括联合主键和自定义的主键，应用程序根据联合主键或者自定义的主键排序，进行哈希算法，将数据运算到Clickhouse-bulck proxy上。

5.根据权利要求4所述的一种数据实时同步方法，其特征在于，每个Clickhouse-bulckproxy中只能写入一个数据。

6.根据权利要求1所述的一种数据实时同步方法，其特征在于，步骤4中，满足获取数据的等待时长t，应用程序查询获取的数据才能写入Clickhouse节点中。

7.根据权利要求1所述的一种数据实时同步方法，其特征在于，步骤4中，满足获取数据条数n，应用程序查询获取的数据才能写入Clickhouse节点中。

8.根据权利要求1至7所述的任意一种数据实时同步方法，其特征在于，应用程序为Angle Sync。