[发明专利]可视化数据同步方法、系统、终端和计算机可读存储介质

权利要求书

1.一种可视化数据同步方法，其特征在于，包括：

根据用户在可视化任务配置界面中配置的配置数据生成对应的数据同步任务并发送给执行器，所述配置数据包括源端信息、目标端信息和数据同步条件，所述数据同步条件包括设定的任务同步类型；

若所述任务同步类型为非实时同步，所述执行器根据所述源端信息确定及连接源数据库，并按照所述数据同步条件将所述源数据库中的数据发送至由所述目标端信息确定的目标数据表中，以完成所述数据同步任务；

若所述任务同步类型为实时同步，所述数据同步条件还包括指定的分发器，每一分发器预先关联对应的消息处理器；

在所述执行器初次执行完所述数据同步任务后，对所述源数据库中的数据变化进行实时消息监听；

每当监听到有数据变化的消息时，通知所述指定的分发器将包含更新数据的消息分发给对应的消息处理器，以使所述消息处理器将所述更新数据更新至所述目标数据表中。

2.根据权利要求1所述的可视化数据同步方法，其特征在于，还包括：

在所述消息处理器将所述更新数据更新至所述目标数据表中时，监控所述更新的结果是否为预设异常状态；

若监控到预设异常状态，则触发对所述更新数据的逐条补处理操作。

3.根据权利要求1或2的可视化数据同步方法，其特征在于，所述数据同步条件还包括设定的并发任务数和拆分字段，若所述并发任务数大于1，所述方法还包括：

根据所述拆分字段生成所述并发任务数数量的数据同步任务并分别发送给对应数量的执行器以进行任务并发执行。

4.根据权利要求1或2的可视化数据同步方法，其特征在于，所述数据同步条件还包括设定的分区字段和分区策略，所述方法还包括：

根据所述分区字段和所述分区策略对目标数据表进行划分，得到多个分区以用于存储来自所述源数据库中的数据。

5.根据权利要求1所述的可视化数据同步方法，其特征在于，所述可视化任务配置界面包括源端配置区域、目标端配置区域和数据同步配置区域；其中，

所述源端配置区域设有源库IP待配置项、源库类型待配置项、源库实例名待配置项、源库表名待配置项、源库用户名待配置项和源库密码待配置项；

所述目标端配置区域设有目标库类型待配置项、目标库名待配置项、目标库表名待配置项、目标库用户名待配置项和目标库密码待配置项；

所述数据同步配置区域设有任务同步类型待配置项和并发任务数待配置项。

6.根据权利要求5所述的可视化数据同步方法，其特征在于，所述源端信息中包含的源库类型为MySQL数据库或Oracle数据库；所述目标端信息中包含的目标库类型为Hbase数据库、Kudu数据库或HDFS数据库。

7.一种可视化数据同步系统，其特征在于，包括：

可视化任务配置模块，用于根据用户在可视化任务配置界面中配置的配置数据生成对应的数据同步任务并发送给执行器，所述配置数据包括源端信息、目标端信息和数据同步条件，所述数据同步条件包括设定的任务同步类型；

任务同步执行模块，用于若所述任务同步类型为非实时同步，所述执行器根据所述源端信息确定及连接源数据库，并按照所述数据同步条件将所述源数据库中的数据发送至由所述目标端信息确定的目标数据表中，以完成所述数据同步任务；

任务同步执行模块，还用于若所述任务同步类型为实时同步，所述数据同步条件还包括指定的分发器，每一分发器预先关联对应的消息处理器；在所述执行器初次执行完所述数据同步任务后，对所述源数据库中的数据变化进行实时消息监听；每当监听到有数据变化的消息时，通知所述指定的分发器将包含更新数据的消息分发给对应的消息处理器，以使所述消息处理器将所述更新数据更新至所述目标数据表中。

8.一种终端，其特征在于，所述终端包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施权利要求1-6中任一项所述的可视化数据同步方法。

9.一种计算机可读存储介质，其特征在于，包括：其存储有计算机程序，在所述计算机程序被执行时，实施根据权利要求1-6中任一项所述的可视化数据同步方法。