[发明专利]基于Hadoop平台的应用报表实现方法、设备及存储介质

说明书

本发明公开了一种基于Hadoop平台的应用报表实现方法，包括：将HDFS中存储的源数据进行抽取转换处理后加载到数据仓库的贴源层数据表中，并从中抽取数据进行数据质量校验，若校验通过，则对抽取数据进行转换处理后加载到数据仓库的模型层数据表中，然后再从中抽取数据进行数据质量校验，若校验通过，则对抽取数据进行转换处理后加载到数据仓库的应用层数据表中；对应用层数据表中数据进行数据质量校验，若校验通过，则将应用层数据表作为待上报的应用报表，否则发出校验异常告警。本发明还公开了一种基于Hadoop平台的应用报表实现设备及计算机可读存储介质。本发明可在低成本硬件资源下，实现海量数据报送，并满足高数据质量报送要求。

技术领域

本发明涉及数据库技术领域，尤其涉及一种基于Hadoop平台的应用报表实现方法、设备及计算机可读存储介质。

背景技术

在数据库数据处理领域，现有技术方案通常依赖于机器以及数据库软件本身的性能来处理数据。目前国内企业为了应对海量数据的时效和存储，不断地提升大型机/小型机/服务器的配置，以及扩大高端SAN共享存储容量，但系统的可扩展性不强，而且建设成本高昂。

由于海量的数据处理量进而导致数据校验的性能不佳，以及依赖传统数据库结构的约束来进行数据质量校验，而无系统化的数据质量校验体系，进而无法进行完整的数据质量校验，以致应用报表的数据质量无法得到有效保证。

发明内容

本发明的主要目的在于提供一种基于Hadoop平台的应用报表实现方法、设备及计算机可读存储介质，旨在解决如何低成本地实现海量数据的报送，并满足高数据质量报送要求的技术问题。

为实现上述目的，本发明提供一种基于Hadoop平台的应用报表实现方法，所述Hadoop平台至少包括：存储海量源数据的分布式文件系统HDFS、数据仓库工具Hive，采用Hive作为数据仓库，所述应用报表实现方法包括以下步骤：

S1、将HDFS中存储的源数据进行抽取转换处理后加载到数据仓库的贴源层数据表中；从贴源层数据表中抽取数据进行数据质量校验，若校验通过，则执行S2，否则发出校验异常告警；

S2、对贴源层数据表中的抽取数据进行转换处理后加载到数据仓库的模型层数据表中；从模型层数据表中抽取数据进行数据质量校验，若校验通过，则执行S3，否则发出校验异常告警；

S3、对模型层数据表中的抽取数据进行转换处理后加载到数据仓库的应用层数据表中；对应用层数据表中数据进行数据质量校验，若校验通过，则将应用层数据表作为待上报的应用报表，否则发出校验异常告警。

可选地，在步骤S1之前，所述应用报表实现方法还包括：

通过Hive进行数据仓库建模，并分别得到数据仓库的贴源层数据表、模型层数据表以及应用层数据表。

可选地，所述模型层数据表的建模原则至少包括：窄表转换为宽表、共性字段聚集、采用分区表存储每日切片数据；

其中，在所述分区表中，分区日期采用业务日期，且每个分区存储的切片数据为当日增量数据或者全量数据。

可选地，所述数据质量校验至少包括：数据规范性校验；

其中，所述数据规范性校验至少包括：主键唯一性校验、字段类型校验、字段长度校验、字典值校验、字段值格式规范校验。

可选地，所述数据质量校验至少还包括：数据完整性校验；

其中，所述数据完整性校验至少包括：字段必填项校验、不同数据表间平衡性校验。

可选地，所述数据质量校验至少还包括：数据一致性校验；

其中，所述数据一致性校验至少包括：外键一致性校验、不同字段间逻辑一致性校验、不同应用类别间相同数据一致性校验。