[发明专利]一种关于不定期新增表的多表数据汇总方法及计算机设备

说明书

本发明提供了一种关于不定期新增表的多表数据汇总方法及计算机设备，该方法抽取有多个相同结构的新增流水表，汇总到目标库的新表，通过ETL工具获取源数据库中最新的表及最新表的数据更新，充分利用了ETL工具与存储过程算法以及数据库本身的系统基础表，无需创建多个ETL流程，无需多次修改新增源表名，减少了开发的步骤，增加了程序执行的智能度，提高了数据效率及数据库资源的利用率。

技术领域

本发明属于ETL数据采集与数据库技术领域，涉及多表数据汇总，具体涉及一种关于不定期新增表的多表数据汇总方法及计算机设备。

背景技术

对于多张结构相同、不定期新增的流水表，目前的数据更新方法主要有两种，一种是通过多表UNION ALL起来，作为一个视图，新增后修改视图，再通过将增量数据的关键字段作为参数来获取通过ETL将增量数据传输或更新给目标库中的结果表；另一种就是建立KTR直接抽取最源新表的数据，等到有新增表时修改KTR的源表，完成新增表数据的抽取。

现有技术存在以下缺陷：数据迁移过程智能度低，仅仅通过ETL迁移增量数据，通过SQL数据库更新数据，没有充分利用ETL工具与数据库本身的特性，导致更新效率较低，两种方式都无法解决流水表不定期增加，即流水表名不固定的问题，因此增加了新的表，必须要修改源数据，造成数据更新流程后续维护时间成本很高，数据准确性低。

发明内容

针对现有技术存在的不足，本发明的目的在于，提供一种关于不定期新增表的多表数据汇总方法及计算机设备，解决现有技术中的方法数据更新效率及数据库资源的利用率有待进一步提升的技术问题。

为了解决上述技术问题，本发明采用如下技术方案予以实现：

一种关于不定期新增表的多表数据汇总方法，该方法包括以下步骤：

利用数据库系统表与存储过程，从源数据库中获取不定期新增流水表的最新表；

利用ETL工具与数据库系统表，将源数据库基础信息系统表中含流水表信息的部分，同步到目标数据库，保证两边流水表信息一致；

利用ETL工具与存储过程，从源数据库抽取最新的流水表数据内容到目标数据表，保证数据更新。

利用ETL工具，用删除脚本在下一次更新的时候，将上一次抽取过来的最新流水表数据删除，并再次更新最新的数据；

利用ETL工具，保证目标数据库基础信息系统表同步步骤在最新流水表全量更新之前，就能够完成自动化增量更新不定期新增流水表数据。

本发明还具有如下技术特征：

具体的，该方法包括以下步骤：

步骤1，利用数据库系统基础信息表，查询该数据库相同数据结构的N个流水表中最新生成的流水表。

步骤2，根据拿到最新流水表的表名，将其拼接为查询语句，查询最新流水表的数据，将其在源数据库创建动态存储过程，保证实时能查询到最新流水表的最新数据。

步骤3，在目标库中创建该结构流水表的增量更新汇总表，结构为在流水表的基础上增加一个表名字段，将源数据库中N-1个流水表的全量数据初始化到目标汇总表，完成N-1个流水表的汇总信息初始化。

步骤4，调用步骤2中创建的存储过程，拿到源数据库最新即第N个流水表中的数据，创建转换1，将第N个流水表增量更新到目标库的汇总表，并记录连接第N个流水表的表名，同时写入到目标库的汇总表，得到累计N个流水表的汇总数据。

步骤5，在目标数据库新建与源数据库结构相同的基础信息表，用于存储源数据库的基础信息表。