[发明专利]基于Hadoop平台的应用报表实现方法、设备及存储介质

权利要求书

1.一种基于Hadoop平台的应用报表实现方法，所述Hadoop平台至少包括：存储海量源数据的分布式文件系统HDFS、数据仓库工具Hive，数据仓库工具Hive用于将结构化的数据文件映射为数据库表，其特征在于，采用Hive作为数据仓库，所述应用报表实现方法包括以下步骤：

S1、将HDFS中存储的源数据进行抽取转换处理后加载到数据仓库的贴源层数据表中；从贴源层数据表中抽取数据进行数据质量校验，若校验通过，则执行S2，否则发出校验异常告警；

S2、对贴源层数据表中的抽取数据进行转换处理后加载到数据仓库的模型层数据表中；从模型层数据表中抽取数据进行数据质量校验，若校验通过，则执行S3，否则发出校验异常告警；

S3、对模型层数据表中的抽取数据进行转换处理后加载到数据仓库的应用层数据表中；对应用层数据表中数据进行数据质量校验，若校验通过，则将应用层数据表作为待上报的应用报表，否则发出校验异常告警；

所述数据质量校验至少包括：数据规范性校验，其中，所述数据规范性校验至少包括：主键唯一性校验、字段类型校验、字段长度校验、字典值校验、字段值格式规范校验；

所述数据质量校验至少还包括：数据完整性校验，其中，所述数据完整性校验至少包括：字段必填项校验、不同数据表间平衡性校验；

所述数据质量校验至少还包括：数据一致性校验，其中，所述数据一致性校验至少包括：外键一致性校验、不同字段间逻辑一致性校验、不同应用类别间相同数据一致性校验；

所述数据质量校验至少还包括：数据准确性校验，其中，所述数据准确性校验至少包括：按照不同业务场景进行人工抽样校验；

所述数据质量校验至少还包括：数据及时性校验，其中，所述数据及时性校验至少包括：对数据表中数据的产出时间进行时效校验。

2.如权利要求1所述的应用报表实现方法，其特征在于，在步骤S1之前，所述应用报表实现方法还包括：

通过Hive进行数据仓库建模，并分别得到数据仓库的贴源层数据表、模型层数据表以及应用层数据表。

3.如权利要求2所述的应用报表实现方法，其特征在于，所述模型层数据表的建模原则至少包括：窄表转换为宽表、共性字段聚集、采用分区表存储每日切片数据；

其中，在所述分区表中，分区日期采用业务日期，且每个分区存储的切片数据为当日增量数据或者全量数据。

4.一种基于Hadoop平台的应用报表实现设备，其特征在于，所述应用报表实现设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的应用报表实现程序，所述应用报表实现程序被所述处理器执行时实现如权利要求1至3中任一项所述的应用报表实现方法的步骤。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有应用报表实现程序，所述应用报表实现程序被处理器执行时实现如权利要求1至3中任一项所述的应用报表实现方法的步骤。