[发明专利]跨机房数据同步系统、方法及装置、电子设备有效
申请号: | 201710419778.X | 申请日: | 2017-06-06 |
公开(公告)号: | CN108573006B | 公开(公告)日: | 2021-03-26 |
发明(设计)人: | 蔡志强 | 申请(专利权)人: | 北京金山云网络技术有限公司;北京金山云科技有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;H04L29/08 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 马敬;项京 |
地址: | 100085 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 机房 数据 同步 系统 方法 装置 电子设备 | ||
1.一种跨机房数据同步系统,其特征在于,所述系统包括:目标中心化聚合服务器、目标数据采集服务器,其中,
所述目标数据采集服务器,用于从源机房中的源数据库中获取待同步数据;并将所述待同步数据反馈给所述目标中心化聚合服务器;
所述目标中心化聚合服务器,用于从所述目标数据采集服务器获取所述待同步数据;将所述待同步数据和用以标识所述源机房的第一数据进行合并,组合为目标数据;根据目的机房中的目的数据库的主键,将所述目标数据同步至所述目的数据库中,其中,所述用以标识所述源机房的第一数据为能够唯一标识一个源机房的机房信息,所述目的数据库包含用于存储所述第一数据的目标字段,所述目的数据库的主键包括所述源数据库的主键对应的字段和所述目标字段。
2.根据权利要求1所述的系统,其特征在于,所述目标数据采集服务器为数据采集服务器集群中的主数据采集服务器,所述数据采集服务器集群还包括所述主数据采集服务器的至少一个从主数据采集服务器;
所述目标中心化聚合服务器为所述数据采集服务器集群对应的消费端集群中的一个中心化聚合服务器;
所述系统还包括:协调服务器,所述数据采集服务器集群与所述消费端集群预先注册到所述协调服务器上;
所述协调服务器,用于在所述主数据采集服务器故障时,从所述从主数据采集服务器中选择一个作为主数据采集服务器;
所述协调服务器,还用于协调所述消费端集群中的中心化聚合服务器从所述主数据采集服务器中获取待同步数据的顺序。
3.根据权利要求2所述的系统,其特征在于,所述协调服务器中存储有位点信息,所述位点信息为:所述主数据采集服务器每次获取的待同步数据在所述源数据库的日志中的位置信息;
所述主数据采集服务器,还用于从所述协调服务器中获得目标位点信息,其中,所述目标位点信息为上一次获取的待同步数据在所述日志中的位置信息;根据所述日志中所述目标位点信息对应的位置,获取所述源数据库中的所述待同步数据。
4.根据权利要求1所述的系统,其特征在于,
所述目标数据采集服务器,还用于获得所述源机房中的源数据库生成所述待同步数据的第一时刻,将所述第一时刻反馈给所述目标中心化聚合服务器;
所述目标中心化聚合服务器,还用于接收所述目标数据采集服务器反馈的第一时刻,并确定将所述目标数据同步至所述目的数据库的第二时刻;根据所述第一时刻和所述第二时刻,计算将所述目标数据同步至所述目的数据库的延迟率。
5.根据权利要求1所述的系统,其特征在于,
所述目标中心化聚合服务器,还用于统计预设时间段内同步至所述目的数据库的目标数据的数据量。
6.一种跨机房数据同步方法,其特征在于,应用于权利要求1-5任一项所述跨机房数据同步系统中的目标中心化聚合服务器,所述方法包括:
获取待同步数据,其中,所述待同步数据为目标数据采集服务器从源机房中的源数据库中获取的;
将所述待同步数据和用以标识所述源机房的第一数据进行合并,组合为目标数据;
根据目的机房中的目的数据库的主键,将所述目标数据同步至所述目的数据库中,其中,所述用以标识所述源机房的第一数据为能够唯一标识一个源机房的机房信息,所述目的数据库包含用于存储所述第一数据的目标字段,所述目的数据库的主键包括所述源数据库的主键对应的字段和所述目标字段。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获得所述源机房中的源数据库生成所述待同步数据的第一时刻;
确定将所述目标数据同步至所述目的数据库的第二时刻;
根据所述第一时刻和所述第二时刻,计算将所述目标数据同步至所述目的数据库的延迟率。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
统计预设时间段内获得的所述待同步数据的数据量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山云网络技术有限公司;北京金山云科技有限公司,未经北京金山云网络技术有限公司;北京金山云科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710419778.X/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置