[发明专利]数据同步系统、方法、装置、设备及存储介质

说明书

本发明公开了一种数据同步系统、方法、装置、设备及存储介质，包括配置子系统和工作节点子系统；其中，所述配置子系统用于配置起始数据源信息、目标数据源信息以及至少两个数据同步任务的关联信息；所述工作节点子系统用于加载所述起始数据源信息、目标数据源信息以及目标数据同步任务的目标关联信息，以根据所述起始数据源信息、目标数据源信息建立与所述目标关联信息中所指定的第一数据源之间的第一通信链路，以及与所述目标关联信息中所指定的第二数据源之间的第二通信链路，并通过所述第一通信链路以及所述第二通信链路将目标数据从所述第一数据源同步至所述第二数据源。本发明实施例可实现不同数据源的数据进行同步传输，传输速度快。

技术领域

本发明实施例涉及计算机应用技术领域，尤其涉及一种数据同步系统、方法、装置、设备及存储介质。

背景技术

现今，互联网技术发展迅速，网络中的数据呈现爆炸式增长，结构多样化的数据给数据的处理和统计分析带来不小的麻烦，为了处理结构多样化的数据，异构数据同步分析逐渐受到重视。

现有技术中，异构数据源的数据进行同步时，通常采用调度、监控、告警、管理节点等多个模块，采用管理节点对工作节点的节点信息、数据源配置信息等确定最优工作节点，将相同数据源的同步任务分配至同一个工作节点，并根据从工作节点反馈的同步信息对工作节点执行的同步任务进行监控，当监控到同步任务出现异常时生成任务告警事件。这样的异构数据同步系统复杂度高，故障率增加，使得整个系统的运维成本增加。并且数据同步的场景单一，只有起始数据源和目标数据源是同一个类型的存储器，才能相互同步，不能做到跨数据类型的数据同步。因此，现今急需一种可以结构简单且能实现跨数据类型的数据同步的系统。

发明内容

本发明提供一种数据同步系统、方法、装置、设备及存储介质，以实现不同数据源(包括异构数据源)的数据同步传输。

第一方面，本发明实施例提供了一种数据同步系统，该系统包括：

配置子系统和工作节点子系统；

其中，所述配置子系统用于配置起始数据源信息、目标数据源信息以及至少两个数据同步任务的关联信息；

所述工作节点子系统用于加载所述起始数据源信息、目标数据源信息以及目标数据同步任务的目标关联信息，以根据所述起始数据源信息、目标数据源信息建立与所述目标关联信息中所指定的第一数据源之间的第一通信链路，以及与所述目标关联信息中所指定的第二数据源之间的第二通信链路，并通过所述第一通信链路以及所述第二通信链路将目标数据从所述第一数据源同步至所述第二数据源。

第二方面，本发明实施例还提供了一种数据同步方法，该方法包括：

当接收到数据同步指令时，加载与所述数据同步指令匹配的目标数据同步任务的目标关联信息，以及配置子系统中配置的起始数据源信息和目标数据源信息；

根据所述起始数据源信息、目标数据源信息建立与所述目标关联信息中所指定的第一数据源之间的第一通信链路，以及配置子系统中配置的与所述目标关联信息中所指定的第二数据源之间的第二通信链路；

通过所述第一通信链路以及所述第二通信链路将目标数据从所述第一数据源同步至所述第二数据源。

第三方面，本发明实施例提供了一种数据同步装置，该装置包括：

加载模块，用于当接收到数据同步指令时，加载与所述数据同步指令匹配的目标数据同步任务的目标关联信息，以及配置子系统中配置的起始数据源信息和目标数据源信息；

建立模块，用于根据所述起始数据源信息、目标数据源信息建立与所述目标关联信息中所指定的第一数据源之间的第一通信链路，以及与所述目标关联信息中所指定的第二数据源之间的第二通信链路；