[发明专利]一种基于Kettle的增量同步数据的方法及终端有效
申请号: | 202110714280.2 | 申请日: | 2021-06-25 |
公开(公告)号: | CN113486113B | 公开(公告)日: | 2023-06-06 |
发明(设计)人: | 邱浩翔;吴闽华;姜坤;卫宣安 | 申请(专利权)人: | 山东齐鲁数通科技有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/25;G06F16/2455;G06F16/242 |
代理公司: | 深圳市君胜知识产权代理事务所(普通合伙) 44268 | 代理人: | 朱阳波 |
地址: | 250002 山东省济南市市中*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于Kettle的增量同步数据的方法及终端,所述方法包括:在一个数据库表内获取需要进行增量同步的数据库表信息,并记录到Kettle的内存中;若所述数据库表信息存在增量字段,则将增量字段记录到内存中,若所述数据库表信息不存在增量字段,则通过ID记录表完成增量记录;对于有增量字段的表,则直接将数据生成执行的SQL进行保存,对于没有增量字段的表,则按照记录的信息从数据库按ID进行查找,并组成插入SQL;将转换处理好的SQL分布执行,并将出错或者有问题的信息记录进缓存;将缓存中的信息记录到专用的日志库,并且更新统计信息表。本发明通过体系化进行增量同步,以适配所有增量同步的情况,使得增量同步更加体系化和智能化。 | ||
搜索关键词: | 一种 基于 kettle 增量 同步 数据 方法 终端 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东齐鲁数通科技有限公司,未经山东齐鲁数通科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202110714280.2/,转载请声明来源钻瓜专利网。
- 上一篇:一种饲料定量压扁装置
- 下一篇:方形铝壳磷酸铁锂电池及其电池盖板