[发明专利]一种提高大数据集群多节点应用高可用性的方法及系统

说明书

本发明公开了一种提高大数据集群多节点应用高可用性的方法及系统，属于计算机软件领域，本发明要解决的技术问题为如何更有效的保证集群应用的高可用特性，采用的技术方案为：①该方法是基于Pacemaker和Corosync结合python监控服务用以对集群进行有效管理以及实时检测系统应用状态，结合心跳包检测，有效的提高应用的稳定性并自发进行故障转移以保证集群应用的高可用特性；具体步骤如下：S1、部署多个负载均衡设备；S2、部署多节点应用；S3、部署PacemakerCorosync模块和Python监控服务模块。②该系统包括若干负载设备均衡设备和若干节点，节点上部署PacemakerCorosync模块和Python监控服务模块；负载均衡设备之间通过心跳包检测判断对方的状态，节点之间通过心跳包检测对方的状态。

技术领域

本发明涉及计算机软件领域，具体地说是一种提高大数据集群多节点应用高可用性的方法及系统。

背景技术

随着信息技术的发展，借助“虚拟化”技术，云上应用逐渐成为主流。越来越多“云服务”的出现，用户只需要在线申请若干台“云主机”，即可创建集群、部署分布式应用，用较小的代价实现分布式、高性能并行计算，极大的节约了成本。然而，随着应用增多，集群规模势必愈发庞大，资源的管理、应用乃至系统的稳定运行成为了亟待解决的问题。

目前，“单点”问题是系统或者应用高可用最大的风险点。通过集群化的方式保障系统的高可用，如何保障应用的高可用呢？目前，通用的解决方案是通过冗余+自动故障转移来保证应用的高可用特性，即部署多套应用，搭配资源管理器自动隔离故障应用达到应用高可用的目的。

目前有个比较成熟的开源解决方案就是通过Corosync进行心跳检测，利用Pacemaker进行作业调度，底层再利用DRBD进行数据复制的方式实现应用高可用；另一种解决方案即是Corosync+Pacemaker+共享存储的方式实现应用高可用。

然而，上述两个方案都面临“脑裂”的问题，即由于某些原因，节点之间不能完全通信(比如分成了A和B两部分，其中A包含若干节点，B也包含若干节点)，A部分的节点能收到各自的心跳信息，B部分的节点也可以收到各自的心跳信息，但是A和B收不到对方的心跳信息，因此，它们都以为对方故障，从而出现两个甚至多个集群，造成资源竞争的情况，即时通过投票的方式避免资源抢占，但是还是有每个集群都达不到法定票数导致集群“失活”的情况。同时，由于某些原因，节点重启之后，PacemakerCorosync会自动将节点状态置为“Offline”，导致重启后的正常节点上的应用无法正常工作。

由此可见，即使是主流的资源调度系统也不能完全保证集群的高可用性，故如何更有效的保证集群应用的高可用特性是一个亟待解决的问题。

专利号为CN104023061A的专利文献公开了一种LUSTRE的OSS高可用集群方案，属于计算机服务器系统领域，该方案步骤如下：1)将整个文件系统建立；2)在每个OSS上安装pacemaker软件以及corosync软件；3)在命令行中对此高可用集群添加资源；4)配置完成后，启动corosync和pacemaker服务，模拟失败节点；5)在修复失败节点，然后查看资源是否可以重新添加回来，如果可以，说明此方案可行并执行成功。但是该技术方案面临“脑裂”的问题，不能完全保证集群的高可用性。

专利号为CN103942128A的专利文献公开了高性能作业调度管理节点双机加固方法，该方法主要是在高性能计算领域针对作业调度管理节点通过安装以及配置Pacemaker、corosync和drbd软件，达到节点级以及资源级的双重加固；该方法一方面避免了单机部署造成的单点故障问题，另一方面，采用pacemaker软件可以提供对作业系统资源监控，再加上drbd可以对作业调度系统的存储进行双机配置。但是该技术方案面临“脑裂”的问题，不能完全保证集群的高可用性。

发明内容

本发明的技术任务是提供一种提高大数据集群多节点应用高可用性的方法及系统，来解决如何更有效的保证集群应用的高可用特性的问题。