[发明专利]一种数据传输对账方法、装置及设备在审
申请号: | 201811426737.4 | 申请日: | 2018-11-27 |
公开(公告)号: | CN109656992A | 公开(公告)日: | 2019-04-19 |
发明(设计)人: | 王兴东;赵雷;吴丹丹;张文治 | 申请(专利权)人: | 山东中创软件商用中间件股份有限公司 |
主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F16/27 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 罗满 |
地址: | 250013 山东省*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 目的端 源端 预设时间段 存储单元 数据传输 数据同步 计算机可读存储介质 数据一致性 装置及设备 增量数据 返回 不一致 传输 申请 保证 | ||
本发明公开了一种数据传输对账方法、装置、设备及计算机可读存储介质,其中,该方法包括:确定需实现数据同步的存储单元为源端,需将所述源端的数据同步至的存储单元为目的端;在将所述源端的增量数据同步至所述目的端的过程中,判断所述源端及所述目的端中的数据是否一致,如果是,则经过预设时间段后返回执行所述判断所述源端及所述目的端中的数据是否一致的步骤,如果否,则将不一致的数据由所述源端重传至所述目的端,并经过预设时间段后返回执行所述判断所述源端及所述目的端中的数据是否一致的步骤。本申请通过这种定时对账传输的方式保证了源端及目的端的数据一致性。
技术领域
本发明涉及数据同步技术领域,更具体地说,涉及一种数据传输对账方法、装置、设备及计算机可读存储介质。
背景技术
数据同步技术指将源端(需要进行数据同步的一侧)的数据同步至目的端(需要将源端的数据同步至的一侧),使得目的端的数据与源端的数据保持一致性的技术,数据同步技术常应用于数据库等数据存储系统中。
现有技术中当需要将源端的数据迁移至目的端时,通常需要先将源端中保存的数据迁移至目的端,再将数据迁移时刻开始源端中产生变化的数据同步至目的端,其中,源端中保存的数据的迁移即为存量数据的迁移,源端中产生变化的数据的同步即为增量数据的同步。发明人测试发现,在实现增量数据的同步过程中,如果外界环境复杂,如数据高并发、数据量大、数据传输和写入环境存在异常波动等情况下,往往会出现数据漏传丢失的情况,进而导致源端及目的端的数据无法实现一致性。
综上所述,现有技术中在实现数据同步的过程中存在无法保证源端及目的端数据一致性的情况。
发明内容
本发明的目的是提供一种数据传输对账方法、装置、设备及计算机可读存储介质,能够解决现有技术中在实现数据同步的过程中存在的无法保证源端及目的端数据一致性的情况。
为了实现上述目的,本发明提供如下技术方案:
一种数据传输对账方法,包括:
确定需实现数据同步的存储单元为源端,需将所述源端的数据同步至的存储单元为目的端;
在将所述源端的增量数据同步至所述目的端的过程中,判断所述源端及所述目的端中的数据是否一致,如果是,则经过预设时间段后返回执行所述判断所述源端及所述目的端中的数据是否一致的步骤,如果否,则将不一致的数据由所述源端重传至所述目的端,并经过预设时间段后返回执行所述判断所述源端及所述目的端中的数据是否一致的步骤。
优选的,将不一致的数据由所述源端重传至所述目的端之后,还包括:
判断所述源端及所述目的端中的数据是否一致,如果是,则确定此次对账传输完成,如果否,则将不一致的数据由所述源端重传至所述目的端,并返回执行所述判断所述源端及所述目的端中的数据是否一致的步骤,直至进行数据重传的次数达到预设次数为止。
优选的,判断所述源端及所述目的端中的数据是否一致,包括:
利用哈希算法分别计算所述源端及所述目的端中的数据,得到分别与所述源端及所述目的端对应的哈希值;
判断分别与所述源端及所述目的端对应的哈希值是否相同,如果是,则确定所述源端及所述目的端中的数据一致,如果否,则确定所述源端及所述目的端中的数据不一致。
优选的,利用哈希算法分别计算所述源端及所述目的端中的数据,包括:
利用MD5算法分别计算所述源端及所述目的端中的数据。
优选的,将所述源端的增量数据同步至所述目的端,包括:
创建源端对应的触发器及快照单元,指示所述触发器在所述源端的数据发生变化时捕获变化的数据,并将捕获的数据写入至所述快照单元中;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东中创软件商用中间件股份有限公司,未经山东中创软件商用中间件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811426737.4/2.html,转载请声明来源钻瓜专利网。
- 上一篇:虚拟数据库实现方法和系统
- 下一篇:一种分布式环境下的海量数据存储与计算系统