[发明专利]数据实时同步方法、装置及计算机可读存储介质

权利要求书

1.一种数据实时同步方法，其特征在于，应用于Flink分布式框架，包括：

根据源数据库和ClickHouse的配置信息、实时同步任务控制信息从Binlog中读取待处理数据；所述Binlog存储所述源数据库的变化数据；

根据所述待处理数据对应的数据库操作类型，采用相匹配的数据插入操作方式将所述待处理数据写入至内存中；所述操作数据库类型包括数据插入操作、数据删除操作和数据更新操作；

当检测到目的数据库数据导入操作被触发，将所述内存中的数据加载至所述ClickHouse中。

2.根据权利要求1所述的数据实时同步方法，其特征在于，所述采用相匹配的数据插入操作方式将所述待处理数据写入至内存中之后，还包括：

将所述待处理数据的处理时间点和在所述Binlog中的位置记录在Checkpoint，以将所述Binlog同步位点实时记录在状态中。

3.根据权利要求2所述的数据实时同步方法，其特征在于，所述采用相匹配的数据插入操作方式将所述待处理数据写入至内存中之后，还包括：

当再次启动数据实时同步任务，自动从故障点对应记录在所述Binlog的位点处恢复所述数据实时同步任务。

4.根据权利要求1所述的数据实时同步方法，其特征在于，所述当检测到目的数据库数据导入操作被触发，将所述内存中的数据加载至所述ClickHouse中包括：

当检测到存储数据至所述内存中的操作次数达到预设次数阈值或检测到当前时刻到达Checkpoint周期，将所述内存中的数据加载至所述ClickHouse中。

5.根据权利要求1至4任意一项所述的数据实时同步方法，其特征在于，所述根据所述待处理数据对应的数据库操作类型，采用相匹配的数据插入操作方式将所述待处理数据写入至内存中包括：

预先设置所述数据插入操作方式包括字段和主键，所述字段用于标识操作数据库类型；

若所述待处理数据对应的数据库操作类型为所述数据插入操作，将相应主键的数据写入至所述内存中；

若所述待处理数据对应的数据库操作类型为所述数据删除操作，利用同主键合并功能删除相应数据；

若所述待处理数据对应的数据库操作类型为所述数据更新操作，所述数据插入操作方式包括第一字段和第一主键、第二字段和第二主键；将所述第一主键的数据和所述第二主键的数据顺序写入至所述内存。

6.根据权利要求5所述的数据实时同步方法，其特征在于，所述根据源数据库和ClickHouse的配置信息、实时同步任务控制信息从Binlog中读取待处理数据之前，还包括：

接收并发度设置指令；

根据所述并发度设置指令中的并发度数设置所述实时同步任务控制信息的任务线程数。

7.一种数据实时同步装置，其特征在于，应用于Flink分布式框架，包括：

数据读取模块，用于根据源数据库和ClickHouse的配置信息、实时同步任务控制信息从Binlog中读取待处理数据；所述Binlog存储所述源数据库的变化数据；

数据写入模块，用于根据所述待处理数据对应的数据库操作类型，采用相匹配的数据插入操作方式将所述待处理数据写入至内存中；所述操作数据库类型包括数据插入操作、数据删除操作和数据更新操作；

数据同步模块，用于当检测到目的数据库数据导入操作被触发，将所述内存中的数据加载至所述ClickHouse中。

8.根据权利要求7所述的数据实时同步装置，其特征在于，还包括状态记录模块，用于将所述待处理数据的处理时间点和在所述Binlog中的位置记录在Checkpoint，以将所述Binlog同步位点实时记录在状态中。

9.一种数据实时同步装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至6任一项所述数据实时同步方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据实时同步程序，所述数据实时同步程序被处理器执行时实现如权利要求1至6任一项所述数据实时同步方法的步骤。