[发明专利]一种MySQL数据库主从同步数据去重方法在审
| 申请号： | 201810687546.7 | 申请日： | 2018-06-28 |
| 公开（公告）号： | CN108984660A | 公开（公告）日： | 2018-12-11 |
| 发明（设计）人： | 詹咏松;程国艮 | 申请（专利权）人： | 中译语通科技股份有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京中誉威圣知识产权代理有限公司 11279 | 代理人： | 蒋常雪 |
| 地址： | 100040 北京市石*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 性能开销 主从同步 去重 重复数据删除 数据库操作 并行服务 去重操作 数据库表 数据同步 同步操作 同步日志 重复数据 并行性 同步的 比对 加锁 数据库 引入 | ||
1.一种MySQL数据库主从同步数据去重方法，其特征在于：所述方法将数据库同步操作与数据去重操作区分开来，作为两个连续的操作步骤来执行，即在完成数据同步操作后，通过将本次同步的数据与同步日志中的数据进行比对，找到重复数据，并将从库中的重复数据删除。
2.根据权利要求1 所述的一种MySQL数据库主从同步数据去重方法，其特征在于，所述方法包括以下步骤：
1）把待同步的主数据库中的数据保存在服务器的临时文件当中；
2）执行主数据库与从数据库的数据同步操作；
3）调用MySQL触发器，在主数据库和从数据库同步日志表中记录同步操作完成的日志信息，但是记录中的“去重表级字段”记录为“未去重”；
4）SaaS架构程序定期扫描主数据库和从数据库同步日志表；
5）如果发现有新的已完成同步但没有去重的批次数据，则将这些已完成同步但尚未去重的数据与所述步骤1）中存储的临时文件中的数据进行比对；如果扫描未发现有新的已完成同步但没有去重的批次数据，则跳转步骤9）；
6）如果比对后未发现有重复数据，则将主数据库和从数据库同步日志中的去重状态更新为“无须去重”，跳转到所述步骤9）；
7）如果经比对发现有重复的数据，则删除此批同步在从数据库中的数据，并将保存在临时文件中的数据插入到从数据库中；
8）将主从同步日志中的去重状态更新为“完成”；
9）删除所述步骤1）中存储的临时文件。
3.根据权利要求2所述的一种MySQL数据库主从同步数据去重方法，其特征在于：所述步骤4）中的定期扫描为每隔5秒扫描一次。
4.根据权利要求2所述的一种MySQL数据库主从同步数据去重方法，其特征在于：所述步骤6）中的数据比对方式为逐条循环比对。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中译语通科技股份有限公司，未经中译语通科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201810687546.7/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种用于IDFS的文件均衡方法
- 下一篇：一种知识图谱中实体对齐方法和装置
