[发明专利]可视化数据同步方法、系统、终端和计算机可读存储介质

说明书

本发明实施例公开了一种可视化数据同步方法、系统、终端和计算机可读存储介质，该方法包括：根据用户在可视化任务配置界面中配置的配置数据生成对应的数据同步任务并发送给执行器，所述配置数据包括源端信息、目标端信息和数据同步条件，所述数据同步条件包括设定的任务同步类型；若为非实时同步，执行器根据所述源端信息确定及连接源数据库，并按照所述数据同步条件将所述源数据库中的数据发送至由目标端信息确定的目标数据表中以完成所述数据同步任务。本发明的技术方案通过友好地可视化界面配置，相比原有的需要在后台写入冗长的sqoop脚本操作，该方法变得更加简洁、快速，可大大提升开发人员的效率等。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种可视化数据同步方法、系统、终端和计算机可读存储介质。

背景技术

在传统库中最常用的数据处理工具ETL(Extraction Transformation Loading)能够对数据进行抽取、转换和加载，但其只能服务于传统的关系型库，而无法满足该传统型库和Hadoop平台直接的数据导入导出需求。为此，现有的方式通过采用sqoop脚本将数据从传统型库导入到Hadoop平台，虽然可以解决上述问题，但采用sqoop脚本同样存在一些问题，例如，脚本命令冗长繁琐且容易出错，命令的执行没有统一规范。此外，历次执行结果也没有办法统计，做不到对数据的实时同步，也没有可视化的交互页面等。

发明内容

有鉴于此，本发明实施例提出一种可视化数据同步方法、系统、终端和计算机可读存储介质。

本发明的一实施例提出一种可视化数据同步方法，包括：

根据用户在可视化任务配置界面中配置的配置数据生成对应的数据同步任务并发送给执行器，所述配置数据包括源端信息、目标端信息和数据同步条件，所述数据同步条件包括设定的任务同步类型；

若所述任务同步类型为非实时同步，所述执行器根据所述源端信息确定及连接源数据库，并按照所述数据同步条件将所述源数据库中的数据发送至由所述目标端信息确定的目标数据表中，以完成所述数据同步任务。

进一步地，在上述的可视化数据同步方法中，还包括：

若所述任务同步类型为实时同步，所述数据同步条件还包括指定的分发器，每一分发器预先关联对应的消息处理器；

在所述执行器初次执行完所述数据同步任务后，对所述源数据库中的数据变化进行实时消息监听；

每当监听到有数据变化的消息时，通知所述指定的分发器将包含更新数据的消息分发给对应的消息处理器，以使所述消息处理器将所述更新数据更新至所述目标数据表中。

进一步地，在上述的可视化数据同步方法中，还包括：

在所述消息处理器将所述更新数据更新至所述目标数据表中时，监控所述更新的结果是否为预设异常状态；

若监控到预设异常状态，则触发对所述更新数据的逐条补处理操作。

进一步地，在上述的可视化数据同步方法中，所述数据同步条件还包括设定的并发任务数和拆分字段，若所述并发任务数大于1，所述方法还包括：

根据所述拆分字段生成所述并发任务数数量的数据同步任务并分别发送给对应数量的执行器以进行任务并发执行。

进一步地，在上述的可视化数据同步方法中，所述数据同步条件还包括设定的分区字段和分区策略，所述方法还包括：

根据所述分区字段和所述分区策略对目标数据表进行划分，得到多个分区以用于存储来自所述源数据库中的数据。

进一步地，在上述的可视化数据同步方法中，所述可视化任务配置界面包括源端配置区域、目标端配置区域和数据同步配置区域；其中，