[发明专利]服务器集群数据同步方法及装置

权利要求书

1.一种服务器集群数据同步方法，所述服务器集群包括多个服务器节点，所述方法由所述服务器节点执行，所述方法包括：

根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集，所述ETL配置数据还包括数据转换规则和目标数据输出配置信息；

针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集，其中所述多种目标数据格式是所述至少一个异构数据源所适用的数据格式；

针对所述源数据集中的各个源数据所对应的目标数据集，基于所述目标数据输出配置信息，将相应的目标数据集中的各个目标数据分别输出至对应的各个数据源。

2.如权利要求1所述的方法，其中，所述数据源读取配置信息包括数据同步模式，所述根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集包括：

当所述数据同步模式指示实时同步模式时，实时地从至少一个异构数据源中采集源数据集；

当所述数据同步模式指示离线同步模式时，根据设定时间周期从至少一个异构数据源中采集源数据集。

3.如权利要求1所述的方法，其中，所述至少一个异构数据源包括至少一个服务器节点中的异构数据源。

4.如权利要求1所述的方法，其中，所述针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集包括：

根据第一数据转换规则将所述源数据集中的各个源数据分别转换为具有设定数据结构格式的相应的中间数据；

针对各个所述相应的中间数据，根据各个第二数据转换规则将该相应的中间数据分别转换为具有多种目标数据格式的目标数据。

5.如权利要求4所述的方法，其中，所述设定数据结构格式包括dataframe数据格式。

6.如权利要求1所述的方法，其中，在所述针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集之前，所述方法还包括：

将所读取的源数据集中的各个源数据进行数据脱敏处理。

7.如权利要求1所述的方法，其中，所述服务器集群包括Hadoop分布式文件系统和Spark集群分析单元。

8.一种服务器集群数据同步装置，包括：

源数据读取单元，被配置为根据预配置的ETL配置数据中的数据源读取配置信息，从至少一个异构数据源中读取源数据集，所述ETL配置数据还包括数据转换规则和目标数据输出配置信息；

数据转换单元，被配置为针对所述源数据集中的各个源数据，根据所述数据转换规则将相应的源数据转换为具有多种目标数据格式的数据，以得到目标数据集，其中所述多种目标数据格式是所述至少一个异构数据源所适用的数据格式；

数据输出单元，被配置为针对所述源数据集中的各个源数据所对应的目标数据集，基于所述目标数据输出配置信息，将相应的目标数据集中的各个目标数据分别输出至对应的各个数据源。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1到7中任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1到7中任一项所述方法的步骤。