[发明专利]一种ETL加载表结构的比对方法及系统

说明书

本发明提出了一种ETL加载表结构的比对方法及系统，其中，该方法包括：接收源系统的报表数据；根据目标系统的数据库连接信息，测试目标系统的数据库的连接；在连接成功后，获取所述目标系统的目标报表数据；比对所述源系统的报表数据与所述目标报表数据，得到差异比对结果。该方法及系统可以对源系统表结构和目标系统表结构的一致性进行全面检查，快速、准确的找到差异，极大的提高比对效率，并且可以根据与目标系统的差异结果进行分类，并生成DDL语句，以便源系统进行表同步。

技术领域

本发明涉及数据仓库技术领域，尤指一种ETL加载表结构的比对方法及系统。

背景技术

目前，外汇报表系统数据来源系统复杂，涉及上游系统繁多。尤其存在多个系统来源时，上游系统不是每次变更表结构，都会及时通知。如果上游系统一个表的字段长度扩大或者增加字段，接收方没有收到通知及时修改，就会导致生产上报表加载报错，影响业务人员使用。特别是一个字段长度的增加，只有到实际数据在某一时间达到临界值时，报表报错了才能发现，并且报表报错需要排查很长时间才能定位到上游表结构问题上。

现有的核对ETL加载表结构的方法是通过人工核对，这种方式不仅费时费力，需要先把数据库中的表结构导出存为EXCEL格式，然后和上游系统下发表结构文档比对，一个字段一个字段核对，而且容易出错。特别是对大型的数据仓库系统，涉及的表和系统众多，如何保证ETL加载的准确，如何快速的找出表结构差异，避免生产环境ETL加载错误，是一大难题。如果不进行核对，测试或生产运行时就会报错，产生错误日志和bad文件；如果数据项加载错位，也很难通过bad文件和日志发现错误。

综上来看，亟需一种能够快速、准确的进行ETL加载表结构的比对方案。

发明内容

为解决上述问题，本发明提出了一种ETL加载表结构的比对方法及系统，该方法及系统可以对上游表结构和目标系统表结构一致性进行全面检查，避免上下游不一致，提高数据质量。特别是对大型数据仓库系统，可以快速、准确的找到差异，极大的提高比对效率。

在本发明一实施例中，提出了一种ETL加载表结构的比对方法，该方法包括：

接收源系统的报表数据；

根据目标系统的数据库连接信息，测试目标系统的数据库的连接；

在连接成功后，获取所述目标系统的目标报表数据；

比对所述源系统的报表数据与所述目标报表数据，得到差异比对结果。

可选的，所述源系统的报表数据中包括：数据表名称、字段名称、字段类型、数据长度及小数位长度。

可选的，接收源系统的报表数据，还包括：

接收源系统的系统数据；

将所述源系统的系统数据导入至EXCEL数据字典，导入完成后生成源系统的报表数据，并将该所述源系统的报表数据存储至比对数据库的第一临时表。

可选的，所述目标系统的数据库连接信息包括：目标系统的数据库的IP、数据库实例信息、数据库用户名及数据库密码。

可选的，在连接成功后，获取所述目标系统的目标报表数据，还包括：

在连接成功后，获取目标系统数据库利用ORACLE数据库视图信息生成的目标报表数据；

将所述目标报表数据存储至比对数据库的第二比对表。

可选的，比对所述源系统的报表数据与所述目标报表数据，得到差异比对结果，还包括：

调用所述比对数据库的PL/SQL模块，比对所述第一临时表的报表数据与第二比对表的报表数据，得到差异比对结果。