[发明专利]一种数据实时同步方法

摘要

本发明公开了一种数据实时同步方法，涉及大数据分析技术领域，该方法包括在业务系统做预处理过程，获取数据信息并最终存入C l i ckhouse节点中，预处理过程包括应用程序拉取数据，获取外部配置参数，同步mongodb集群条件、分页信息以及主键，该方法还包括应用程序依据mongodb集群条件查询拉取的数据，再根据分页信息去mongodb集群查询数据，拉取到最后一条数据时更新查询条件，更新后的数据作为下一个查询的条件，应用程序根据主键的排序，将查询获取的数据写入多个C l i ckhouse‑bu l ck proxy中，最终由C l i ckhouse‑bu l ck proxy将应用程序查询获取的数据写入C l i ckhouse节点中，本发明可以自行定义写入时间，实时性可调控，而且在分页查询下，可以避免数据拥堵查询不出的情况发生。