[发明专利]一种关于不定期新增表的多表数据汇总方法及计算机设备在审
申请号: | 202111521803.8 | 申请日: | 2021-12-13 |
公开(公告)号: | CN114385727A | 公开(公告)日: | 2022-04-22 |
发明(设计)人: | 易超 | 申请(专利权)人: | 中煤科工集团信息技术有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/22;G06F16/23 |
代理公司: | 西安恒泰知识产权代理事务所 61216 | 代理人: | 王孝明 |
地址: | 710054 陕西省西安*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 关于 不定期 新增 数据 汇总 方法 计算机 设备 | ||
1.一种关于不定期新增表的多表数据汇总方法,其特征在于,该方法包括以下步骤:
步骤1,利用数据库系统基础信息表,查询该数据库相同数据结构的N个流水表中最新生成的流水表;
步骤2,根据拿到最新流水表的表名,将其拼接为查询语句,查询最新流水表的数据,将其在源数据库创建动态存储过程,保证实时能查询到最新流水表的最新数据;
步骤3,在目标库中创建该结构流水表的增量更新汇总表,结构为在流水表的基础上增加一个表名字段,将源数据库中N-1个流水表的全量数据初始化到目标汇总表,完成N-1个流水表的汇总信息初始化;
步骤4,调用步骤2中创建的存储过程,拿到源数据库最新即第N个流水表中的数据,创建转换1,将第N个流水表增量更新到目标库的汇总表,并记录连接第N个流水表的表名,同时写入到目标库的汇总表,得到累计N个流水表的汇总数据;
步骤5,在目标数据库新建与源数据库结构相同的基础信息表,用于存储源数据库的基础信息表;
步骤6,创建转换2数据抽取流程,只取源数据库系统基础表中该结构的所有信息条目明细,全量同步到目标数据库,保证该类所有信息的基础信息源数据库和目标数据库两个库一致,作为目标数据后续流水表增量更新的依据;
步骤7,根据步骤6中的目标数据库得到的流水表基础信息表,查询出源数据库中的最新的第N个流水表名,添加删除脚本在步骤4之前,删除目标库的汇总表中表名字段为的第N个流水表表名的数据,进行第N个流水表的旧数据清除,再执行步骤4,完成第N个流水表的新数据插入;
步骤8,配置作业,将步骤6中更新基础信息表的转换2顺序放在第N个流水表数据抓取的转换2之前,就能够保证每次删除和更新的都是最新流水表的数据,当N新增为N+1、N+2乃至更多流水表时,该套流水表更新算法始终有效。
2.一种关于不定期新增表的多表数据汇总方法,其特征在于,该方法包括以下步骤:
利用数据库系统表与存储过程,从源数据库中获取不定期新增流水表的最新表;
利用ETL工具与数据库系统表,将源数据库基础信息系统表中含流水表信息的部分,同步到目标数据库,保证两边流水表信息一致;
利用ETL工具与存储过程,从源数据库抽取最新的流水表数据内容到目标数据表,保证数据更新;
利用ETL工具,用删除脚本在下一次更新的时候,将上一次抽取过来的最新流水表数据删除,并再次更新最新的数据;
利用ETL工具,保证目标数据库基础信息系统表同步步骤在最新流水表全量更新之前,就能够完成自动化增量更新不定期新增流水表数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中煤科工集团信息技术有限公司,未经中煤科工集团信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111521803.8/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置