[发明专利]数据融合处理方法和装置、存储介质及电子装置

说明书

本发明公开了一种数据融合处理方法和装置、存储介质及电子装置。其中，该方法包括：获取待处理的数据表集合，其中，数据表集合中至少包括：配置有第一原始优先级的第一数据表，及配置有第二原始优先级的第二数据表；根据第一数据表中记录的第一数据的状态参数，获取与第一原始优先级对应的第一置信度，并根据第二数据表中记录的第二数据的状态参数，获取与第二原始优先级对应的第二置信度；对数据表集合中的数据进行融合处理，得到融合后的目标数据表，其中，在第一置信度大于第二置信度的情况下，在目标数据表中记录第一数据表中的第一数据。本发明解决了在结构化数据治理下的关键数据的融合步骤中，人工判断数据优先级的效率低的技术问题。

技术领域

本发明涉及互联网领域，具体而言，涉及一种数据融合处理方法和装置、存储介质及电子装置。

背景技术

基于结构化数据的数据治理场景是一种特定的技术场景。其主要表现可以简单地展开为四步：输入原始数据、对原始数据进行治理、治理后的数据融合、输出结果数据。

1.输入原始数据

结构化的原始数据通常的表现形式为数据库中的一张表。其中，每行数据重，每一列的数据都是有着特定含义的。

2.对原始数据进行治理

治理的过程可以简单地理解为标准化的过程，例如体重信息，体重的单位有斤、公斤、克、千克等，那么标准化后的体重信息可统一为公斤为唯一单位。

3.治理后的数据融合

考虑输入的数据不仅仅一张数据表，在还存在至少一张的同类数据表表的情况下，需进行数据表之间的数据融合。那么融合的目的，就是把多张数据表中有价值的信息进行整合，整合为一张数据表。进一步，融合后的数据表中的数据有重合甚至并列存在的现象。如表格A中记载王五体重60公斤，表格B中记载王五体重50公斤，表格A、B融合后，就会显示王五有两个体重数据。在现有技术中，最常见的解决方法为人工判断表格A、B的可信度，进而选择融合后的数据的可信度，但在海量数据表进行融合的情况下，人工处理的方式不仅效率低，还会容易出错。即，在结构化数据治理下的关键数据的融合步骤中，人工判断数据优先级的效率低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据融合处理方法和装置、存储介质及电子装置，以至少解决在结构化数据治理下的关键数据的融合步骤中，人工判断数据优先级的效率低的技术问题。

根据本发明实施例的一个方面，提供了一种数据融合处理方法，包括：获取待处理的数据表集合，其中，上述数据表集合中至少包括：配置有第一原始优先级的第一数据表，及配置有第二原始优先级的第二数据表；根据上述第一数据表中记录的第一数据的状态参数，获取与上述第一原始优先级对应的第一置信度，并根据上述第二数据表中记录的第二数据的状态参数，获取与上述第二原始优先级对应的第二置信度；对上述数据表集合中的数据进行融合处理，得到融合后的目标数据表，其中，在上述第一置信度大于上述第二置信度的情况下，在上述目标数据表中记录上述第一数据表中的上述第一数据。

作为一种可选的实施方式，上述对上述数据表集合中的数据进行融合处理，得到融合后的目标数据表包括：比对上述第一数据表的数据表头与上述第二数据表的数据表头，得到第一比对结果；比对上述第一数据表中上述第一数据与上述第二数据表中上述第二数据，得到第二比对结果；根据上述第一比对结果及上述第二比对结果，对上述第一数据表及上述第二数据表进行融合处理，得到上述目标数据表。