[发明专利]数据分发方法、装置、电子设备、存储介质

说明书

本发明公开了数据分发方法、装置、电子设备、存储介质。数据分发方法包括：合并所述至少两个目的数据库的数据需求；从所述源数据库中抽取符合合并后的数据需求的数据集；根据每个目的数据库的数据需求分别从所述数据集中获取目标数据并写入对应的目的数据库。ETL节点从源数据库中抽取数据并分发给至少两个目的数据库时，只需建立一个数据分发任务，ETL节点分别与源数据库和至少两个目的数据库连接，并将目的数据库的数据需求进行合并，根据合并后的数据需求从源数据库中抽取数据集，源数据库无需与每个目的数据库建立连接，不存在重复的数据抽取，可以大大减小源数据库的资源占用率。

技术领域

本发明涉及数据处理技术领域，特别涉及数据分发方法、装置、电子设备、存储介质。

背景技术

目前，将源数据库中的数据抽取到多个目的数据库时，针对每个目的数据库，需要创建一个数据交换任务，参见图1，使源数据库分别与每个目的数据库建立连接，进而分别进行数据抽取。当多个目的数据库需要抽取的数据内容比较相近时，例如存在相同的数据字段，现有的数据抽取方式源数据库需要与每个目的数据库建立连接，存在数据重复抽取，会增加源数据库的资源占用率。

发明内容

本发明提供数据分发方法、装置、电子设备、存储介质，以解决现有技术中进行数据分发时，源数据库的资源占用率较高的缺陷。

具体地，本发明是通过如下技术方案实现的：

第一方面，提供一种数据分发方法，所述数据分发方法应用于ETL(一种数据仓库技术)节点，所述ETL节点用于从源数据库中抽取数据并分发给至少两个目的数据库，所述数据分发方法包括：

合并所述至少两个目的数据库的数据需求；

从所述源数据库中抽取符合合并后的数据需求的数据集；

根据每个目的数据库的数据需求分别从所述数据集中获取目标数据并写入对应的目的数据库。

可选地，若抽取所述目标数据的速率大于将所述目标数据写入所述目的数据库的速率，抽取所述目标数据之后，还包括：

缓存所述目标数据；

将所述目标数据写入对应的目的数据库，包括：

将缓存的目标数据写入对应的目的数据库。

可选地，若将所述目标数据写入目的数据库失败，所述数据分发方法还包括：

缓存所述目标数据，然后将缓存的目标数据再次写入所述目的数据库。

可选地，若将所述缓存的目标数据再次写入所述目的数据库失败，所述数据分发方法还包括：

释放所述缓存的目标数据；

和/或，将写入失败的目的数据库独有的数据需求从所述合并后的数据需求中删除，以停止从所述源数据库中抽取所述独有的数据需求对应的数据；除所述写入失败的目的数据库之外的其他目的数据库的数据需求中不包含所述独有的数据需求。

可选地，若目的数据库的数据需求包括过滤条件，从所述数据集中获取目标数据并写入对应的目的数据库，包括：

从目标数据中过滤出符合所述过滤条件的数据并写入目的数据库。

可选地，所述数据需求包括：数据行需求和数据列需求；

合并所述至少两个目的数据库的数据需求，包括：

在所述至少两个目的数据库的数据需求的重合数据量大于数据量阈值的情况下，合并所述至少两个目的数据库的数据列需求和数据行需求。

第二方面，提供一种数据分发装置，所述数据分发装置应用于ETL节点，所述ETL节点用于从源数据库中抽取数据并分发给至少两个目的数据库，所述数据分发装置包括：