[发明专利]一种ETL任务中指标变更的检测方法和装置有效
申请号: | 201410784619.6 | 申请日: | 2014-12-16 |
公开(公告)号: | CN105760383B | 公开(公告)日: | 2019-06-11 |
发明(设计)人: | 吴媛媛 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25 |
代理公司: | 北京清源汇知识产权代理事务所(特殊普通合伙) 11644 | 代理人: | 冯德魁 |
地址: | 英属开曼群岛大开*** | 国省代码: | 开曼群岛;KY |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请公开了一种ETL任务中指标变更的检测方法和装置。其中所述ETL任务中指标变更的检测方法,通过使用事先备份好的数据初始化ETL任务的源表数据,执行变更前的ETL任务和变更后的ETL任务,获取变更前目标表集合和变更后目标表集合相应的数据;并比较变更前目标表集合和变更后目标表集合的共有目标表下同名指标的数据,发现目标表的指标变更以及具体的变更详情。采用本申请提供的方法,当检测到目标表指标变更时,开发人员若想进一步排查指标变更原因,可以不用考虑源数据不一致的问题,直接就可以判断是ETL代码变更导致的,并且能够获取指标变更的具体详情。 | ||
搜索关键词: | 一种 etl 任务 指标 变更 检测 方法 装置 | ||
【主权项】:
1.一种ETL任务中指标变更的检测方法,其特征在于,包括:获取变更前的ETL任务和变更后的ETL任务;解析所述变更前的ETL任务和变更后的ETL任务,生成变更前目标表集合和变更后目标表集合,以及变更前后的所有源表集合,并根据其各自的建表指令进行建表;针对每个源表,按照事先备份好的数据进行初始化;以上述初始化后的源表为数据来源,分别执行所述变更前的ETL任务的数据操作指令和变更后的ETL任务的数据操作指令,在变更前目标表集合和变更后目标表集合中,分别获得相应的数据;比较所述变更前目标表集合和变更后目标表集合的共有目标表下同名指标的数据,判断数据是否发生变化,若是,则判断指标发生变更并作出指标变更标识。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201410784619.6/,转载请声明来源钻瓜专利网。