[发明专利]一种高性能云计算云爆发同步方法有效
申请号: | 201811355964.2 | 申请日: | 2018-11-14 |
公开(公告)号: | CN109597690B | 公开(公告)日: | 2019-10-22 |
发明(设计)人: | 朱兆生;江汉儒;吴健明 | 申请(专利权)人: | 浙江远算云计算有限公司;远算智能(北京)科技有限公司 |
主分类号: | G06F9/52 | 分类号: | G06F9/52;G06F9/48;G06F9/50;G06F9/455;H04L29/08 |
代理公司: | 浙江翔隆专利事务所(普通合伙) 33206 | 代理人: | 许守金 |
地址: | 311799 浙江省杭州*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 云计算 同步机制 云端 任务调度器 云计算数据 可用性 更新状态 任务信息 事件同步 数据遗漏 同步技术 同步事件 网络环境 虚拟集群 有效同步 管理器 健壮性 同步器 获知 编程 互通 访问 隔离 | ||
1.一种高性能云计算云爆发同步方法,其特征在于,包括任务调度器、同步器、虚拟集群管理器;
任务调度器,用于接受任务的提交,并进行任务调度;
虚拟集群管理器,用于接收爆发请求的任务,并对多云端集群进行统一资源调度和调配管理;
同步器,用于任务同步;
任务调度器周期性调度时,并检测等待资源任务是否满足爆发条件,当满足爆发条件,根据任务运算软件、硬件环境调度因子匹配最佳的云端集群,并提交相应输入至云端集群;
其中同步器检测到未同步的状态变更事件,会通知任务调度器并以事件时序的方式同步任务状态;
当云端集群状态变更后,虚拟集群管理器接收到状态通知并与同步器写入全量事件高性能云计算云爆发同步方法;
整个数据同步主要分为同步端与需同步端两端,同步端即为任务调度器,而需同步端则为虚拟集群管理以及同步器高性能云计算云爆发同步方法;
同步机制中涉及的相关数据结构采用的是日志结构LOG,由于日志结构LOG的仅附加特性以及所有事件序列号seq都是依据时序单调递增的,这样在任意系统中同步端与需同步端的事件时序和因果能够保持一致;
同步机制中的操作主要涉及原子操作;
同步机制中涉及的事务,用于确保多操作被统一成事务,从而确保所有操作都按照顺序成功提交或当遇到任意错误时执行回滚至事务初始状态高性能云计算云爆发同步方法;
需同步的事件写入机制:
需同步端自身维护序列号seq,即需同步端的时序ID且是单调递增的,并将序列号seq绑定的事件写入日志结构LOG,每一次写入是由事件、序列号seq以及需同步端的写入时间组成的集合;当需同步端写入事件时,序列号seq原子性自增,一并提交事件及绑定序列号seq的日志结构LOG,以确保每次写入事件都是全量的日志结构LOG。
2.如权利要求1所述的一种高性能云计算云爆发同步方法,其特征在于,
需同步端提供的未同步事件查询机制:
所述同步机制主要传入序列号seq以及需拉取事件的个数n作为参数,从而针对日志结构LOG全集查找最近大于序列号seq的n个事件。
3.如权利要求1所述的一种高性能云计算云爆发同步方法,其特征在于,
同步端轮询同步机制:
对于同步端,需维护最新已同步的序列号;
当同步时,会先向需同步端通过最后的序列号查询未同步的事件,对于返回未同步的事件逐步根据事件以及写入时间执行写入操作,并更新最后的序列号用于后续同步并最终提交该事务。
4.如权利要求1-3任一所述的一种高性能云计算云爆发同步方法,其特征在于,
多云环境下应用同步机制的步骤:
步骤1. 当本地端云爆发至云端,即为确保本地端的可用性,而不完全实时依赖云端状态,即本地端作为同步端;
步骤2. 云端作为需同步端,不断写入待同步状态,并提供未同步事件的查询接口;
步骤3. 本地端作为同步端会间歇性向云端轮询未同步事件并同步自身状态。
5.如权利要求4所述的一种高性能云计算云爆发同步方法,其特征在于,
同步期间,本地端依然能够处理运算,同时当云端出现故障或者不可用时,本地端依旧能访问已同步后的数据,同时云端需同步的数据不会丢失,当故障去除后,同步操作从最近的同步点开始继续同步。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江远算云计算有限公司;远算智能(北京)科技有限公司,未经浙江远算云计算有限公司;远算智能(北京)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811355964.2/1.html,转载请声明来源钻瓜专利网。