[发明专利]数据同步方法、装置和服务器

权利要求书

1.一种数据同步方法，其特征在于，所述方法包括：

加载预先配置的配置信息；其中，所述配置信息包括数据源、以及所述数据源中需要进行同步的数据的元数据；

从所述数据源中获取所述元数据对应的目标数据，缓存所述目标数据；

将所述目标数据同步至预设的数据仓库中的，与所述元数据相匹配的数据表中。

2.根据权利要求1所述的方法，其特征在于，从所述数据源中获取所述元数据对应的目标数据的步骤，包括：

加载预先配置的Spark函数算子；

通过所述函数算子，从所述数据源中抽取所述元数据对应的目标数据。

3.根据权利要求1所述的方法，其特征在于，缓存所述目标数据的步骤，包括：

对所述目标数据进行预处理，将预处理后的所述目标数据以矩阵数据表的形式缓存在内存中；其中，所述预处理包括：将所述目标数据转换成预设的数据类型，和/或，将所述目标数据的元数据的名称转换成预设的名称。

4.根据权利要求1所述的方法，其特征在于，所述元数据包括数据表名称、字段和所述字段的字段属性；

将所述目标数据同步至预设的数据仓库中的，与所述元数据相匹配的数据表中的步骤，包括：

如果预设的数据仓库中，不存在所述数据表名称对应的数据表，根据所述元数据创建数据表；

将所述目标数据存储至创建的所述数据表中。

5.根据权利要求4所述的方法，其特征在于，将所述目标数据存储至创建的所述数据表中的步骤之前，所述方法还包括：

如果存在所述数据表名称对应的数据表，且所述数据表中的字段与所述元数据中的字段不匹配，将所述数据表中的字段调整为所述元数据中的字段。

6.根据权利要求5所述的方法，其特征在于，将所述目标数据存储至创建的所述数据表中的步骤之前，所述方法还包括：

如果所述数据表名称对应的数据表中，存在字段属性与所述元数据中字段属性不匹配的目标字段，将所述目标字段的字段属性调整为所述元数据中，所述目标字段的字段属性。

7.根据权利要求4所述的方法，其特征在于，将所述目标数据存储至创建的所述数据表中的步骤，包括：

按照预设的分区规则，将所述目标数据划分为多个分区数据；

采用并行的方式，将所述多个分区数据写入创建的所述数据表中。

8.根据权利要求7所述的方法，其特征在于，采用并行的方式，将所述多个分区数据写入创建的所述数据表中的步骤，包括：

启动多个Spark执行器；

多个所述执行器并行运行；其中，每个所述执行器读取该执行器对应的分区数据，将读取到的所述分区数据写入至创建的所述数据表中。

9.根据权利要求7所述的方法，其特征在于，将所述多个分区数据写入创建的所述数据表中的步骤之后，所述方法还包括：根据所述分区数据的数据量，将相邻的所述分区数据进行合并处理。

10.根据权利要求9所述的方法，其特征在于，根据所述分区数据的数据量，将相邻的所述分区数据进行合并处理的步骤，包括：

根据所述数据表中所述多个分区数据的存储位置和数据量，对每个所述分区数据进行下述处理：

如果当前分区数据的数据量小于预设的数据量阈值，将所述当前分区数据合并至所述当前分区数据的下一个分区数据中；

将所述当前分区数据的下一个分区数据确定为新的当前分区数据。

11.一种数据同步装置，其特征在于，所述装置包括：

加载模块，用于加载预先配置的配置信息；其中，所述配置信息包括数据源、以及所述数据源中需要进行同步的数据的元数据；

获取模块，用于从所述数据源中获取所述元数据对应的目标数据，缓存所述目标数据；

同步模块，用于将所述目标数据同步至预设的数据仓库中的，与所述元数据相匹配的数据表中。