[发明专利]一种数据表的生成方法和装置

说明书

本发明实施例提供了一种数据表的生成方法及装置，通过获取与目标业务数据表对应的基础拉链数据表与增量数据表，并对两者所存储的数据记录进行比对，若增量数据表中存在与基础拉链数据表中第一指定字段对应的第二指定字段，判定增量数据表中存在对应的增量数据，则根据基础拉链数据表的拉链时间信息与增量数据表中的增量更新时间，建立基础拉链数据表中拉链数据记录与增量数据表中增量数据记录之间的数据映射关系，然后根据数据映射关系对基础拉链数据表进行更新，生成针对业务数据表的全量拉链数据表，通过构建复杂拉链数据表，既降低了数据存储空间，还可以实现从多维度对数据进行记录，提高了数据处理的效率。

技术领域

本发明涉及数据仓库建设技术领域，特别是涉及一种数据表的生成方法和一种数据表的生成装置。

背景技术

在数据仓库建设架构中，数据来源的系统每日都会有新增或更新的数据，如果在数据仓库中对每一条记录的变更都进行存储，则很容易带来大量的冗余数据，导致存储空间急剧增加。此外，在进行数据的ETL(Extract-Transform-Load，抽取-转换-加载)等处理过程中，由于需要处理的数据量增大，需要计算的数据资源也会随之增加，从而影响数据处理效率。然而，在数据仓库建设技术领域中，基于Hive进行数据仓库架构建设的方式仍为主流，由于Hive底层基于HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)进行数据存储，但HDFS并不支持更新操作，从而容易导致一方面无法记录数据变化的历史状态，另一方面需要对大量的数据进行存储，导致存储空间增加以及计算资源需求骤增的问题。

发明内容

鉴于上述问题，提出了本发明实施例提供一种数据表的生成方法、装置、电子设备以及计算机存储介质，以解决或部分解决现有技术中数据处理过程中无法记录数据变化的历史状态，存储空间需求大、计算资源需求增加以及数据处理效率低的问题。

本发明实施例公开了一种数据表的生成方法，包括：

获取与目标业务数据表对应的基础拉链数据表，以及与所述目标业务数据表对应的增量数据表，所述基础拉链数据表包括拉链数据记录，所述拉链数据记录至少包括目标标识字段、至少一个第一指定字段以及与所述第一指定字段对应的第一更新字段，所述增量数据表至少包括增量数据记录，所述增量数据记录包括至少一个第二指定字段以及所述第二指定字段对应的第二更新字段；

若所述增量数据表中存在与所述第一指定字段相同的第二指定字段，则根据所述第一更新字段与所述第二更新字段，建立所述基础拉链数据表中拉链数据记录与所述增量数据表中增量数据记录之间的数据映射关系；

根据所述数据映射关系对所述基础拉链数据表进行处理，生成针对所述业务数据表的全量拉链数据表。

可选地，所述根据所述第一更新字段与所述第二更新字段，建立所述基础拉链数据表中拉链数据记录与所述增量数据表中增量数据记录之间的数据映射关系，包括：

分别采用各条所述拉链数据记录的第一指定字段与第一更新字段，从所述增量数据表中查找第一增量数据记录，建立所述基础拉链数据表中各条拉链数据记录与所述增量数据表中对应的至少一条第一增量数据记录之间的数据映射关系；

其中，所述第一增量数据记录中的第二指定字段与所述拉链数据记录中的第一指定字段对应，第二更新字段与所述第一更新字段对应。

可选地，所述根据所述数据映射关系对所述基础拉链数据表进行处理，生成针对所述业务数据表的全量拉链数据表，包括：

采用所述数据映射关系从所述增量数据表中，提取与所述基础拉链数据表中各所述拉链数据记录对应的至少一条第二增量数据记录，所述第二增量数据记录用于表示所述拉链数据记录中所述目标标识字段对应的历史数据变化；

采用所述第二增量数据记录对所述基础拉链数据表的拉链数据记录进行处理，生成针对所述业务数据表的全量拉链数据表。