[发明专利]数据同步方法、装置、服务器及存储介质在审
申请号: | 202011064351.0 | 申请日: | 2020-09-30 |
公开(公告)号: | CN112148498A | 公开(公告)日: | 2020-12-29 |
发明(设计)人: | 刘耀晖;王飞 | 申请(专利权)人: | 平安普惠企业管理有限公司 |
主分类号: | G06F9/52 | 分类号: | G06F9/52;G06F9/54;G06F11/07;G06F21/60 |
代理公司: | 深圳市赛恩倍吉知识产权代理有限公司 44334 | 代理人: | 何春兰;迟珊珊 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 同步 方法 装置 服务器 存储 介质 | ||
1.一种数据同步方法,其特征在于,所述数据同步方法包括:
根据预设的无锁策略,获取待同步数据,其中,所述无锁策略包括单线程获取策略或基于多线程的比较再交换策略;
根据预设的数组可用位置变量,将所述待同步数据写入至基于环形数据结构的缓冲数组中,获得缓冲数据,其中,所述缓冲数组中两个数据之间填充有预设数量的占位数据;
根据预设的未读数据变量,从所述缓冲数据中确定可读数据;
通过预设的多个处理线程对所述可读数据进行处理,获得同步数据以及用于故障恢复的同步事件。
2.根据权利要求1所述的数据同步方法,其特征在于,所述根据预设的数组可用位置变量,将所述待同步数据写入至基于环形数据结构的缓冲数组中,获得缓冲数据包括:
针对每个所述待同步数据,获取所述数组可用位置变量的最新值;
从所述基于环形数据结构的缓冲数组中确定与所述最新值对应的位置空间;
判断所述位置空间是否存在已存储数据;
若所述位置空间不存在已存储数据,将所述待同步数据写入至所述位置空间中,获得所述缓冲数据;或
若所述位置空间存在已存储数据,根据所述待同步数据,将所述已存储数据进行替换操作,获得所述缓冲数据。
3.根据权利要求1所述的数据同步方法,其特征在于,所述通过预设的多个处理线程对所述可读数据进行处理,获得同步数据以及用于故障恢复的同步事件包括:
通过解密线程,对所述可读数据进行解密,获得解密数据;
根据所述解密数据,生成输入事件;
根据幂等性校验算法,对所述输入事件进行过滤,获得过滤事件;
根据所述过滤事件的事件类型,将所述过滤事件分配给预设的多个业务线程进行数据处理,获得同步数据以及输出事件;
将所述输入事件以及所述输出事件确定为用于故障恢复的同步事件。
4.根据权利要求1所述的数据同步方法,其特征在于,所述根据预设的无锁策略,获取待同步数据包括:
判断所述待同步数据的数据源是否为消息中间件;
若所述待同步数据的数据源为消息中间件,根据所述单线程获取策略,使用消息中间件的拉动模式,按照预设时间间隔以及预设数据量,使用单线程从所述消息中间件中获取所述待同步数据。
5.根据权利要求1所述的数据同步方法,其特征在于,所述根据预设的无锁策略,获取待同步数据包括:
判断所述待同步数据的数据源是否有多个;
若所述待同步数据的数据源有多个,根据所述基于多线程的比较再交换策略,通过比较再交换算法来使用多个线程从多个所述数据源中获取所述待同步数据。
6.根据权利要求1至5中任一项所述的数据同步方法,其特征在于,所述通过预设的多个处理线程对所述可读数据进行处理,获得同步数据以及用于故障恢复的同步事件之后,所述数据同步方法还包括:
当检测到运行中的服务停止运行时,从所述同步事件中确定未完成的目标事件;
将所述目标事件以事件流的形式进行存储。
7.根据权利要求6所述的数据同步方法,其特征在于,所述将所述目标事件以事件流的形式进行存储之后,所述数据同步方法还包括:
当接收到故障恢复指令时,从预设的存储位置获取所述目标事件;
将所述目标事件加载至内存中以进行事件重演。
8.一种数据同步装置,其特征在于,所述数据同步装置包括:
获取模块,用于根据预设的无锁策略,获取待同步数据,其中,所述无锁策略包括单线程获取策略或基于多线程的比较再交换策略;
写入模块,用于根据预设的数组可用位置变量,将所述待同步数据写入至基于环形数据结构的缓冲数组中,获得缓冲数据,其中,所述缓冲数组中两个数据之间填充有预设数量的占位数据;
确定模块,用于根据预设的未读数据变量,从所述缓冲数据中确定可读数据;
处理模块,用于通过预设的多个处理线程对所述可读数据进行处理,获得同步数据以及用于故障恢复的同步事件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安普惠企业管理有限公司,未经平安普惠企业管理有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011064351.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:打捆机的喂料方法
- 下一篇:一种一乙醇胺硼酸酯的生产工艺
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置