[发明专利]基于Hadoop平台的应用报表实现方法、设备及存储介质有效
| 申请号： | 201711012672.4 | 申请日： | 2017-10-24 |
| 公开（公告）号： | CN107908672B | 公开（公告）日： | 2022-01-14 |
| 发明（设计）人： | 汪亚男;李晶;冼炳洪;肖和兵;李朝阳;魏小胜;王新玉;夏佳;周东 | 申请（专利权）人： | 深圳前海微众银行股份有限公司 |
| 主分类号： | G06F16/28 | 分类号： | G06F16/28;G06F16/27;G06F16/22;G06F16/215 |
| 代理公司： | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人： | 胡海国;赵爱蓉 |
| 地址： | 518052 广东省深圳市前海深港合作区前*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Hadoop平台的应用报表实现方法，包括：将HDFS中存储的源数据进行抽取转换处理后加载到数据仓库的贴源层数据表中，并从中抽取数据进行数据质量校验，若校验通过，则对抽取数据进行转换处理后加载到数据仓库的模型层数据表中，然后再从中抽取数据进行数据质量校验，若校验通过，则对抽取数据进行转换处理后加载到数据仓库的应用层数据表中；对应用层数据表中数据进行数据质量校验，若校验通过，则将应用层数据表作为待上报的应用报表，否则发出校验异常告警。本发明还公开了一种基于Hadoop平台的应用报表实现设备及计算机可读存储介质。本发明可在低成本硬件资源下，实现海量数据报送，并满足高数据质量报送要求。 | ||
| 搜索关键词： | 基于 hadoop 平台 应用 报表 实现 方法 设备 存储 介质 | ||
【主权项】：
一种基于Hadoop平台的应用报表实现方法，所述Hadoop平台至少包括：存储海量源数据的分布式文件系统HDFS、数据仓库工具Hive，其特征在于，采用Hive作为数据仓库，所述应用报表实现方法包括以下步骤：S1、将HDFS中存储的源数据进行抽取转换处理后加载到数据仓库的贴源层数据表中；从贴源层数据表中抽取数据进行数据质量校验，若校验通过，则执行S2，否则发出校验异常告警；S2、对贴源层数据表中的抽取数据进行转换处理后加载到数据仓库的模型层数据表中；从模型层数据表中抽取数据进行数据质量校验，若校验通过，则执行S3，否则发出校验异常告警；S3、对模型层数据表中的抽取数据进行转换处理后加载到数据仓库的应用层数据表中；对应用层数据表中数据进行数据质量校验，若校验通过，则将应用层数据表作为待上报的应用报表，否则发出校验异常告警。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司，未经深圳前海微众银行股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711012672.4/，转载请声明来源钻瓜专利网。
