[发明专利]一种高性能云计算云爆发同步方法

说明书

本发明公开了一种高性能云计算云爆发同步方法，属于云计算数据同步技术领域。现有的云爆发等解决方案更注重于任务的云端提交，从而导致本地与云端的数据处于相互隔离的状态，当网络环境异常时历史提交的任务信息、多云提供的商账单将无法准确同步，影响后续访问。本发明包括任务调度器、同步器、虚拟集群管理器；本发明能够及时获知未同步事件以及事件同步后及时更新状态，确保数据能够有效同步，避免数据遗漏，从而实现云数据的互通和本地访问的可用性和健壮性，并且本发明方案合理，易于编程实现，提高云计算效率。

技术领域

本发明涉及一种高性能云计算云爆发同步方法，属于云计算数据同步技术领域。

背景技术

在高性能云计算领域中，随着复杂度、运算密集度以及研发需求大规模增加，该领域的企业内购置的多批次高性能运算集群将承载更高的运算能力、运算时间、运算量的压力。因此企业会采取云爆发等解决方案，一方面提供足够弹性的资源能够应对不同时段中的运算需求，另一方面能确保企业内部的关键性任务和数据优先处理。但传统云爆发的解决方案更注重于任务的云端提交，从而导致本地与云端的数据处于相互隔离的状态，当网络环境异常时历史提交的任务信息、多云提供的商账单将无法准确同步，影响后续访问。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种能够有效进行数据同步，从而实现云数据的互通和本地访问的可用性和健壮性的高性能云计算云爆发同步方法。

为实现上述目的，本发明的技术方案为：

一种高性能云计算云爆发同步方法，包括任务调度器、同步器、虚拟集群管理器；

任务调度器，用于接受任务的提交，并进行任务调度，以确保不同资源环境下，策略和场景的适用性；

虚拟集群管理器，用于接收爆发请求的任务，并对多云端集群进行统一资源调度和调配管理；

同步器，用于任务同步；

任务调度器周期性调度时，并检测等待资源任务是否满足爆发条件，当满足爆发条件，根据任务运算软件、硬件环境调度因子匹配最佳的云端集群，并提交相应输入至云端集群；

其中同步器检测到未同步的状态变更事件，会通知任务调度器并以事件时序的方式同步任务状态；

当云端集群状态变更后，虚拟集群管理器接收到状态通知并与同步器写入全量事件Event writer。

本发明能够及时获知未同步事件以及事件同步后及时更新状态，确保数据能够有效同步，避免数据遗漏，从而实现云数据的互通和本地访问的可用性和健壮性，并且本发明方案合理，易于编程实现，提高云计算效率。

作为优选技术措施，整个数据同步主要分为同步端与需同步端两端，同步端即为任务调度器，而需同步端则为虚拟集群管理以及同步器，把整个数据链进行分层次处理，便于编程实现。

作为优选技术措施，

同步机制中涉及的相关数据结构采用的是日志结构LOG，由于日志结构LOG的仅附加特性以及所有事件序列号seq都是依据时序单调递增的，这样在任意系统中同步端与需同步端的事件时序和因果能够保持一致，从而确保数据一致性；

同步机制中的操作主要涉及原子操作，确保每次分配的同步事件都是唯一且单调递增的；

同步机制中涉及的事务，用于确保多操作被统一成事务，从而确保所有操作都按照顺序成功提交(commit)或当遇到任意错误时执行回滚至事务初始状态，从而确保需同步一次性写入的日志结构LOG以及绑定的事件。

作为优选技术措施，需同步的事件写入机制：