[发明专利]一种组件化数据质量检核方法在审
申请号: | 201910873645.9 | 申请日: | 2019-11-20 |
公开(公告)号: | CN110704502A | 公开(公告)日: | 2020-01-17 |
发明(设计)人: | 田永艳;刘涛;张宝玉;刘博 | 申请(专利权)人: | 中电万维信息技术有限责任公司 |
主分类号: | G06F16/2458 | 分类号: | G06F16/2458;G06F16/248 |
代理公司: | 62202 兰州嘉诺知识产权代理事务所(普通合伙) | 代理人: | 郭海 |
地址: | 730000 甘肃省兰州市城关*** | 国省代码: | 甘肃;62 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据源组件 规则组件 自定义 组件化 报告管理 操作流程 传统数据 流程调度 流程配置 流程转换 拖拽方式 问题存储 质量处理 自由组合 动态性 组件式 耦合度 反馈 统计 | ||
1.一种组件化数据质量检核方法,其特征在于:包括有如下步骤,
数据源组件自定义,获取需要检核数据的数据源、数据表结构和字段信息;
检核规则组件自定义,包括定制化组件、自定义组件及组合组件;
检核流程配置, 通过拖拽方式基于步骤a定义的数据源组件设置来源表、问题存储表,使用步骤b定义的检核规则组件自由组合任务检核流程;
质量报告管理,根据定制化的数据质量报告模板,通过步骤c的检核结果,统计生成质量报告;
检核流程调度,对步骤c的检核流程进行统一调度,支持设置数据检核周期,数据责任人,问题数据通知方式,支持任务执行情况监控和异常处理机制;
数据整改反馈,包括明细数据下载、质量报告文件下载及线上处理数据。
2.根据权利要求1所述的一种组件化数据质量检核方法,其特征在于:
步骤a所述的数据源包括关系型数据库和非关系型数据库。
3.根据权利要求1所述的一种组件化数据质量检核方法,其特征在于:步骤b所述的自定义组件是基于SQL、存储过程、正则表达式等自助生成检核规则;步骤b所述的组合组件是将定制化组件和自定义组件自由组合。
4.根据权利要求1所述的一种组件化数据质量检核方法,其特征在于:步骤d以excel、pdf或word方式生成问题数据明细及质量报告,支撑下载,支持以邮件或短信方式发送问题数据明细及质量报告。
5.根据权利要求1所述的一种组件化数据质量检核方法,其特征在于:步骤b根据检核数据的重要性设置检核优先级及问题等级,组装或拆分数据检核任务组件,自动分配至数据环境的每层进行处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中电万维信息技术有限责任公司,未经中电万维信息技术有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910873645.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:用户账号关联方法及装置
- 下一篇:出题方法以及装置、服务器