[发明专利]数据融合方法及装置

说明书

本申请提供一种数据融合方法，方法包括：针对每个源表，基于已存储的目标表字段确定源表的映射配置信息，映射配置信息包含源表字段与目标表字段的映射关系及源表字段对应的转换规则；依据源表字段与目标表字段的映射关系，并利用源表字段对应的转换规则将该源表中的源表字段的数据转换到该源表对应的目标表中；依据预先配置的目标表的主键字段，将每个目标表中的所述目标表字段的数据融合到最终目标表中；每个源表对应的目标表以及最终目标表的结构均一致。通过确定每个源表的映射配置信息实现数据融合可减少数据融合代码量，且即使源表的维度发生变化，只要更改映射配置信息即可，无需对实现数据融合的代码进行修改，因此可提高数据融合灵活性。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据融合方法及装置。

背景技术

随着科学技术的发展，产生数据的数据源也不断增加。面对来自不同数据源的数据，如何对各个数据源的数据进行融合，以从中获取有用信息，挖掘潜在价值成为学术界和产业界关注的焦点。

目前的数据融合方案完全通过代码实现数据的融合，然而当数据种类比较多时，完全依赖代码实现会导致代码量巨大，且如果数据类型发生变化，用于实现融合的代码也需要修改，因此完全依赖代码实现数据融合的灵活性也比较低。

发明内容

有鉴于此，本申请提供一种数据融合方法及装置，以解决完全依赖代码实现数据融合的代码量大、灵活性低的问题。

根据本申请实施例的第一方面，提供一种数据融合方法，所述方法包括：

针对每个源表，基于已存储的目标表字段确定该源表对应的映射配置信息，所述映射配置信息包含源表字段与目标表字段的映射关系及源表字段对应的转换规则；依据所述源表字段与目标表字段的映射关系，并利用所述源表字段对应的转换规则将该源表中的所述源表字段的数据转换到该源表对应的目标表中；

依据预先配置的目标表的主键字段，将转换得到的每个目标表中的所述目标表字段的数据融合到最终目标表中；

其中，每个源表对应的目标表以及最终目标表的结构均一致。

根据本申请实施例的第二方面，提供一种数据融合装置，所述装置包括：

确定模块，用于针对每个源表，基于已存储的目标表字段确定该源表对应的映射配置信息，所述映射配置信息包含源表字段与目标表字段的映射关系及源表字段对应的转换规则；

转换模块，用于依据所述源表字段与目标表字段的映射关系，并利用所述源表字段对应的转换规则将该源表中的所述源表字段的数据转换到该源表对应的目标表中；

融合模块，用于依据预先配置的目标表的主键字段，将转换得到的每个目标表中的所述目标表字段的数据融合到最终目标表中；

其中，每个源表对应的目标表以及最终目标表的结构均一致。

根据本申请实施例的第三方面，提供一种电子设备，所述设备包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现上述第一方面所述方法的步骤。

应用本申请实施例，针对每个源表，通过基于已存储的目标表字段确定该源表对应的映射配置信息(包含源表字段与目标表字段的映射关系及源表字段对应的转换规则)，以依据该映射配置信息将该源表中的数据转换到目标表，由于每个源表对应的目标表和最终目标表的结构均一致，因此可以再依据预先配置的目标表的主键字段，将转换得到的每个目标表中的目标表字段的数据融合到最终目标表中，以实现数据融合。