[发明专利]数据分发方法、装置、电子设备、存储介质

权利要求书

1.一种数据分发方法，其特征在于，所述数据分发方法应用于ETL节点，所述ETL节点用于从源数据库中抽取数据并分发给至少两个目的数据库，所述数据分发方法包括：

合并所述至少两个目的数据库的数据需求；

从所述源数据库中抽取符合合并后的数据需求的数据集；

根据每个目的数据库的数据需求分别从所述数据集中获取目标数据并写入对应的目的数据库。

2.如权利要求1所述的数据分发方法，其特征在于，若抽取所述目标数据的速率大于将所述目标数据写入所述目的数据库的速率，抽取所述目标数据之后，还包括：

缓存所述目标数据；

将所述目标数据写入对应的目的数据库，包括：

将缓存的目标数据写入对应的目的数据库。

3.如权利要求1所述的数据分发方法，其特征在于，若将所述目标数据写入目的数据库失败，所述数据分发方法还包括：

缓存所述目标数据，然后将缓存的目标数据再次写入所述目的数据库。

4.如权利要求3所述的数据分发方法，其特征在于，若将所述缓存的目标数据再次写入所述目的数据库失败，所述数据分发方法还包括：

释放所述缓存的目标数据；

和/或，将写入失败的目的数据库独有的数据需求从所述合并后的数据需求中删除，以停止从所述源数据库中抽取所述独有的数据需求对应的数据；除所述写入失败的目的数据库之外的其他目的数据库的数据需求中不包含所述独有的数据需求。

5.如权利要求1所述的数据分发方法，其特征在于，若目的数据库的数据需求包括过滤条件，从所述数据集中获取目标数据并写入对应的目的数据库，包括：

从目标数据中过滤出符合所述过滤条件的数据并写入目的数据库。

6.如权利要求1所述的数据分发方法，其特征在于，所述数据需求包括：数据行需求和数据列需求；

合并所述至少两个目的数据库的数据需求，包括：

在所述至少两个目的数据库的数据需求的重合数据量大于数据量阈值的情况下，合并所述至少两个目的数据库的数据列需求和数据行需求。

7.一种数据分发装置，其特征在于，所述数据分发装置应用于ETL节点，所述ETL节点用于从源数据库中抽取数据并分发给至少两个目的数据库，所述数据分发装置包括：

合并模块，用于合并所述至少两个目的数据库的数据需求；

抽取模块，用于从所述源数据库中抽取符合合并后的数据需求的数据集；

写模块，根据每个目的数据库的数据需求分别从所述数据集中获取目标数据并写入对应的目的数据库。

8.如权利要求7所述的数据分发装置，其特征在于，所述数据分发装置还包括：

缓存模块，用于在抽取所述目标数据的速率大于将所述目标数据写入所述目的数据库的速率的情况下，缓存所述目标数据；

所述写模块，还用于将缓存的目标数据写入对应的目的数据库。

9.如权利要求7所述的数据分发装置，其特征在于，所述数据分发装置还包括：

缓存模块，用于在将所述目标数据写入目的数据库失败的情况下，缓存所述目标数据缓；

所述写模块，还用于将缓存的目标数据写入对应的目的数据库。

10.如权利要求9所述的数据分发装置，其特征在于，若将所述缓存的目标数据写入所述目的数据库失败，所述数据分发装置还包括：

释放所述缓存的目标数据；

和/或，将写入失败的目的数据库独有的数据需求从所述合并后的数据需求中删除，以停止从所述源数据库中抽取所述独有的数据需求对应的数据；除所述写入失败的目的数据库之外的其他目的数据库的数据需求中不包含所述独有的数据需求。