[发明专利]一种元数据核对各项平台数据质量的方法及系统

说明书

本发明公开了一种元数据核对各项平台数据质量的方法及系统，涉及数据处理技术领域，包括oracle数据库、临时存储单元、元数据管理平台以及比较单元，所述oracle数据库、临时存储单元、元数据管理平台以及比较单元之间电性连接，元数据管理平台用于元数据页面配置数据源或者编写sql，所述oracle数据库用于收集oracle‑sql、hive‑sql、mongo‑sql的各项处理过的数据量，所述临时存储单元用于临时存储hive‑sql和mongo‑sql处理后的数据量，然后计算sql后发送至oracle数据库，所述对比单元用于比较数据库的数据值和各项金额，页面展示后发送给企业微信，本发明可以利用presto作为数据查询引擎，提高了即席查询效率并能将sql解析成对应的mongodb查询语句。

技术领域

本发明涉及数据处理技术领域，具体来说，涉及一种元数据核对各项平台数据质量的方法及系统。

背景技术

为兼容历史脚本处理，将历史脚本数据进行修改，采用直接发送email通知的方式，但是随着业务数据越来越多，且需求越来越复杂，单纯的关系性数据库解决不了的需求，会将关系型数据库的表同步至其他平台中处理，这时候就对各个平台的数据质量均有较高的要求，需要每天定时或者不定时的主动获取到当天或者T-1天的各个表的数据量以及金额量是否一致，及时监控数据在各个平台的状态，快速处理数据问题。

发明内容

为了克服现有技术的不足，本发明的一种元数据核对各项平台数据质量的方法及系统，能够利用presto作为数据查询引擎，提高查询效率。

本发明解决其技术问题所采用的技术方案是：一种元数据核对各项平台数据质量的方法，其改进之处在于，包括：

S1：元数据管理平台页面配置数据源或者编写sql；

S2：多线程同时处理T-1天的数据量或者金额值；

S3：对oracle数据库中的数据进行查询，并做逻辑比对处理后，在html页面上面进行展示；

S4：将比对后的html页面推送至企业微信。

作为上述技术方案的改进，步骤S1中，配置的内容包括数据库的用户、密码、库表以及业务日期。

作为上述技术方案的进一步改进，步骤S2中，采用多个数据平台多线程同时处理T-1天的数据量或者金额值。

作为上述技术方案的进一步改进，所述的数据量包括大写数据量和小写数据量。

作为上述技术方案的进一步改进，多个所述数据平台包括oracle-sql、hive-sql以及mongo-sql；

所述oracle-sql的大写数据量和小写数据量直接存于oracle数据库；

所述hive-sql处理小写数据量；

所述mongo-sql处理大写数据量。

作为上述技术方案的进一步改进，所述hive-sql的小写数据量经过转义分区字段后存于临时存储单元中。

作为上述技术方案的进一步改进，所述hive-sql的小写数据量先经过presto再存入临时存储单元中。

作为上述技术方案的进一步改进，所述mongo-sql的大写数据量经过转义分区字段后存于临时存储单元中。

作为上述技术方案的进一步改进，所述mongo-sql的大写数据量先经过mongodb进行presto的源码修改后再存入临时存储单元中。

作为上述技术方案的进一步改进，存入临时存储单元中的数据量经过计算sql后数据存储于oracle数据库中。