[发明专利]一种数据同步处理方法及装置在审
| 申请号： | 201910710935.1 | 申请日： | 2019-08-02 |
| 公开（公告）号： | CN110427426A | 公开（公告）日： | 2019-11-08 |
| 发明（设计）人： | 戚云琪;李中杰;张力引 | 申请（专利权）人： | 中国工商银行股份有限公司 |
| 主分类号： | G06F16/27 | 分类号： | G06F16/27 |
| 代理公司： | 北京三友知识产权代理有限公司 11127 | 代理人： | 王涛;任默闻 |
| 地址： | 100140 北*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种数据同步处理方法及装置，将增量数据的获取与数据库内的逻辑结构(例如触发器)解耦，对数据库日志进行解析抓取，实现数据的准确性与实时性，并对数据库本身的性能影响降到最低。通过消息中间件实现数据的传递和分发，且可横向扩展，保证数据流的高时效与高吞吐量。生成同步文件的消费者通过分布式部署，依托云平台实现快速部署和动态伸缩。同步文件的结构、时效性可灵活定制，与数据库类型、数据库对象解耦，实现异构数据库间的数据同步。 | ||
| 搜索关键词： | 数据同步处理 同步文件 解耦 数据库 抓取 分布式部署 数据库对象 数据库类型 数据库日志 消息中间件 异构数据库 数据流 高吞吐量 横向扩展 快速部署 灵活定制 逻辑结构 数据同步 性能影响 增量数据 触发器 高时效 时效性 实时性 云平台 伸缩 解析 分发 传递 保证 | ||
【主权项】：
1.一种数据同步处理方法，其特征在于，实时监控源数据库的日志数据；若监控到所述日志数据发生变动，则将变动数据转换为序列化的二进制格式；对转换后的变动数据进行持久化缓存，并维持所述变动数据的有序队列；按照预先设置的同步文件的基础定义，从缓存中拉取对应的变动数据，生成对应的同步文件，其中，所述基础定义包括：数据的存储位置、时效；根据所述同步文件对应的时效，将所述同步文件发送到目标数据库或数据交换中心。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国工商银行股份有限公司，未经中国工商银行股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910710935.1/，转载请声明来源钻瓜专利网。
