[发明专利]一种元数据核对各项平台数据质量的方法及系统

权利要求书

1.一种元数据核对各项平台数据质量的方法，其特征在于，包括：

S1：元数据管理平台页面配置数据源或者编写sql；

S2：多线程同时处理T-1天的数据量或者金额值；

S3：对oracle数据库中的数据进行查询，并做逻辑比对处理后，在html页面上面进行展示；

S4：将比对后的html页面推送至企业微信。

2.根据权利要求1所述的一种元数据核对各项平台数据质量的方法，其特征在于，步骤S1中，配置的内容包括数据库的用户、密码、库表以及业务日期。

3.根据权利要求1所述的一种元数据核对各项平台数据质量的方法，其特征在于，步骤S2中，采用多个数据平台多线程同时处理T-1天的数据量或者金额值。

4.根据权利要求3所述的一种元数据核对各项平台数据质量的方法，其特征在于，所述的数据量包括大写数据量和小写数据量。

5.根据权利要求4所述的一种元数据核对各项平台数据质量的方法，其特征在于，多个所述数据平台包括oracle-sql、hive-sql以及mongo-sql；

所述oracle-sql的大写数据量和小写数据量直接存于oracle数据库；

所述hive-sql处理小写数据量；

所述mongo-sql处理大写数据量。

6.根据权利要求5所述的一种元数据核对各项平台数据质量的方法，其特征在于，所述hive-sql的小写数据量经过转义分区字段后存于临时存储单元中。

7.根据权利要求6所述的一种元数据核对各项平台数据质量的方法，其特征在于，所述hive-sql的小写数据量先经过presto再存入临时存储单元中。

8.根据权利要求5所述的一种元数据核对各项平台数据质量的方法，其特征在于，所述mongo-sql的大写数据量经过转义分区字段后存于临时存储单元中。

9.根据权利要求8所述的一种元数据核对各项平台数据质量的方法，其特征在于，所述mongo-sql的大写数据量先经过mongodb进行presto的源码修改后再存入临时存储单元中。

10.根据权利要求7或9所述的一种元数据核对各项平台数据质量的方法，其特征在于，存入临时存储单元中的数据量经过计算sql后数据存储于oracle数据库中。

11.一种元数据核对各项平台数据质量的系统，其特征在于，包括oracle数据库、临时存储单元、元数据管理平台以及比较单元，所述oracle数据库、临时存储单元、元数据管理平台以及比较单元之间电性连接；

所述元数据管理平台用于元数据页面配置数据源或者编写sql，所述oracle数据库用于收集oracle-sql、hive-sql、mongo-sql的各项处理过的数据量，所述临时存储单元用于临时存储hive-sql和mongo-sql处理后的数据量，然后计算sql后发送至oracle数据库，所述对比单元用于比较数据库的数据值和各项金额，页面展示后发送给企业微信。