[发明专利]一种基于ETL流程的数据质量管控方法和系统在审
| 申请号： | 201711021492.2 | 申请日： | 2017-10-26 |
| 公开（公告）号： | CN109947746A | 公开（公告）日： | 2019-06-28 |
| 发明（设计）人： | 高宇;周章雄;陈少钦;刘永江 | 申请（专利权）人： | 亿阳信通股份有限公司 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215;G06F16/25 |
| 代理公司： | 北京卓岚智财知识产权代理事务所(特殊普通合伙) 11624 | 代理人： | 任漱晨 |
| 地址： | 150090 黑龙江省哈*** | 国省代码： | 黑龙江;23 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请提供了一种基于ETL流程的数据质量管控方法和系统，其特征在于，所述方法包括：导入元数据，根据所述元数据中各个表的数据获得ETL流程；为每个检查节点设置相应的检查规则，并定义需要执行的SQL；根据所述SQL，按照预先设置的执行周期设置数据调度任务，对采集的数据进行检查，得出检查结果；将检查结果与预先设置的告警阈值进行比较，如果满足阈值范围，则生成告警详单，并将所述告警详单插入到数据库；将所述告警详单数据关联汇总到数据仓库层事实汇总数据；将所述检查结果通过告警订单查询、日志查询、流程展现和/或报表展现的方式呈现。通过本申请，可快速定位ETL流程问题节点，确保数据质量。 | ||
| 搜索关键词： | 告警 检查结果 预先设置 质量管控 元数据 订单查询 检查规则 节点设置 快速定位 流程展现 日志查询 数据仓库 数据调度 数据获得 问题节点 周期设置 单数据 申请 数据库 检查 采集 关联 | ||
【主权项】：
1.一种基于ETL流程的数据质量管控方法，其特征在于，所述方法包括：导入元数据，根据所述元数据中各个表的数据获得ETL流程；其中，所述ETL流程包括数据抽取、数据转换和数据加载三个环节， 同时，ETL流程数据呈现包括指标结果和数据处理环境两个环节，所述ETL流程和ETL流程数据呈现的每个环节都包含至少一个检查节点；为每个检查节点设置相应的检查规则，并定义需要执行的命令语句；根据所述命令语句，按照预先设置的执行周期执行设定的数据调度任务，对根据所述数据调度任务启动的数据采集任务采集到的数据进行检查，得出检查结果；将检查结果与预先设置的告警阈值进行比较，如果满足阈值范围，则生成告警详单，并将所述告警详单插入到数据库；将所述告警详单数据关联汇总到数据仓库层事实汇总数据。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于亿阳信通股份有限公司，未经亿阳信通股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711021492.2/，转载请声明来源钻瓜专利网。
- 上一篇：一种数据库优化方法及装置
- 下一篇：基于孤立点检测的大数据异常值清理方法
