[发明专利]服务器集群数据同步方法及装置

说明书

本发明公开一种服务器集群数据同步方法及装置。在该方法中，服务器节点根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集，所述ETL配置数据还包括数据转换规则和目标数据输出配置信息；针对源数据集中的各个源数据，根据数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集，其中多种目标数据格式包括至少一个异构数据源所适用的数据格式；针对源数据集中的各个源数据所对应的目标数据集，基于目标数据输出配置信息，将相应的目标数据集中的各个目标数据分别输出至对应的各个数据源。由此，通过在服务器节点中进行组件配置的方式灵活地实现了数据同步过程，具有较好的扩展性。

技术领域

本申请属于互联网技术领域，尤其涉及一种服务器集群数据同步方法及装置。

背景技术

随着企业信息化建设的发展，越来越多的企业建立了众多的信息系统，以帮助企业进行内外部业务的处理和管理工作。但是随着信息系统的增加，各自孤立工作的信息系统造成了大量的冗余数据和业务人员的重复劳动。

数据集成技术应运而生，而ETL(Extraction-Transformation-Loading,数据抽取-转换-加载)是数据集成技术中的重要部分。通过ETL能够将业务系统的数据经过抽取、清洗转换之后加载到数据仓库，以将企业中的分散、零乱、异构、标准不统一的数据整合到一起，从而实现数据同步的功能。目前，常用的ETL工具包括Kettle和DataX等工具。

在本申请的发明人实践本申请的过程中发现目前相关技术至少存在以下缺陷：1)在大数据量下ETL能力较差，但是在大数据和物联网的背景下，中小企业数据量过亿也很常见，尤其无法支持实时ETL，导致时效性差。2)在大数据量场景下一般都要使用服务器集群模式，然而目前的ETL处理方案无法在集群中稳定运行。

针对上述问题，目前业界暂无较佳的解决方案。

发明内容

本申请实施例提供一种服务器集群数据同步方法及装置，用于至少解决上述技术问题之一。

第一方面，本申请实施例提供一种服务器集群数据同步方法，所述服务器集群包括多个服务器节点，所述方法由所述服务器节点执行，所述方法包括：根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集，所述ETL配置数据还包括数据转换规则和目标数据输出配置信息；针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集，其中所述多种目标数据格式是所述至少一个异构数据源所适用的数据格式；针对所述源数据集中的各个源数据所对应的目标数据集，基于所述目标数据输出配置信息，将相应的目标数据集中的各个目标数据分别输出至对应的各个数据源。

第二方面，本申请实施例提供一种服务器集群数据同步装置，包括：源数据读取单元，被配置为根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集，所述ETL配置数据还包括数据转换规则和目标数据输出配置信息；数据转换单元，被配置为针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集，其中所述多种目标数据格式是所述至少一个异构数据源所适用的数据格式；数据输出单元，被配置为针对所述源数据集中的各个源数据所对应的目标数据集，基于所述目标数据输出配置信息，将相应的目标数据集中的各个目标数据分别输出至对应的各个数据源。

第三方面，本申请实施例提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法的步骤。

第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。