[发明专利]基于raft选主策略的分布式计算方法

说明书

本发明公开一种基于raft选主策略的分布式计算方案，属于分布式任务调度技术领域。本分布式方案主要用于复杂计算和持续性计算场景，这些应用计算量大，需要时间持续计算，计算过程为异步操作，分为任务下发和结果回调。系统包含多个计算节点，这些计算节点分为leader、follower和candidate，任务分配和结果收集是通过选举出来的leader进行处理的。本发明由于系统主要是做计算，所以去掉了一致性的存储模块，必要的信息会通过外部系统存储。本发明具备一定的容错能力和动态扩展能力，适用于高性能高可用的复杂计算和持续性计算场景。

技术领域

本发明涉及一种基于raft选主策略的分布式计算方法，属于分布式任务调度技术领域。

背景技术

随着社会和技术的发展，计算机面临越来越多的大型计算任务，包括复杂计算和持续性计算，单个计算机硬件的发展难以跟上处理性能的需求。因此，需要将计算任务拆分成多个独立的任务项，交给多个计算机同时完成，达到快速处理的目的。另外，计算场景也可能产生变化，比如分析网络摄像头数据，会从100路摄像头发展到分析150路摄像头。需要完成计算功能的系统具有灵活的扩展性和稳定性。分布式计算系统可以拆分下发任务，实现负载均衡，也具有扩展性和稳定性。

分布式系统最重要的就是共识算法，是指解决各节点之间的数据一致性，让系统作为一个达成共识的整体而工作，并且能够容忍部分节点掉线甚至出错。在分布式计算中，共识算法主要涉及任务分配，结果反馈和节点掉线问题，一般通过选定一个主节点，控制其他从节点的方式实现。主节点的选定，根据应用场景不同，可以固定配置，也可以通过竞争或者投票产生。固定配置主节点的方式，适用于单个局域网环境和主节点固定的小型应用场景；分布式系统竞争或投票产生主节点的方式，适用于复杂计算场景和分布式存储场景。

raft算法是用于分布式存储的共识算法，主要包括选主策略和日志同步策略，保证系统多个节点存储数据的一致性和稳定性。在一些为主计算型的分布式系统中，不需要分布式存储，如视频流分析，密文破译。因此本发明仅参考了其中的选主策略。

发明内容

针对现有技术的不足，本发明提供了一种基于raft选主策略的分布式计算方法，以实现主节点自动选举，多节点的共同执行任务和反馈结果，提供高效稳定且可伸缩的计算能力。

本发明提供了一种基于raft选主策略的分布式计算方法，该系统节点分为leader、follower和candidate，所述leader是主节点，所述follower是计算节点，所述candidate是leader的候选节点；通过如下步骤进行计算和反馈：

S01，首先通过客户端发送计算任务到系统；

S02，由所述节点leader解析和分解计算任务；

S03，节点leader根据follower的负载，下发计算任务；

S04，由所述节点follower计算结果并发送给节点leader；

S05，节点leader将计算结果处理后，回调客户端。

leader是主节点，作用是：1）维护系统信息，2）响应客户端请求，3）拆分和下发任务，4）反馈计算结果。follower是计算节点，作用是：1）执行计算任务，2）选举leader时投票，3）提升为candidate。candidate是leader的候选节点，作用是：可以通过选举成为新的leader。

本发明的进一步限定技术方案，前述的基于raft选主策略的分布式计算方法，所述系统节点的角色转换过程如下：

系统启动时，所有节点都是follower;

所有节点监听来自leader的心跳信息，当接收心跳超时，就提升为candidate，并向其他节点广播投票信息；

节点收到投票信息后，进行投票；

当candidate节点收到超过一半投票信息后，成为新的leader；