[发明专利]一种系统自动容灾的方法和装置

说明书

本发明公开了系统自动容灾的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：Rout路由组件接收用户提交的应用程序；Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统；然后Rout路由组件通过调用PolicyStore路由策略组件，获取所述Hadoop分布式系统的路由策略；根据所述路由策略，Rout路由组件调用AMRMproxy通讯组件，将应用程序转发至对应的Hadoop分布式系统。该实施方式能够对现有的Hadoop系统进行了全方位的优化，最终实现了Hadoop系统的主、备集群的容灾方案。

技术领域

本发明涉及计算机技术领域，尤其涉及一种系统自动容灾的方法和装置。

背景技术

目前主流的大数据业务系统都是构建在Hadoop分布式系统上，Hadoop分布式系统是大数据业务的物理基石和数据载体。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

随着业务的高速发展，Hadoop系统的集群规模急剧增加。单个Hadoop系统的数据安全风险逐步增加，急需一套基于Hadoop系统的主、备集群的容灾方案。

发明内容

有鉴于此，本发明实施例提供一种系统自动容灾的方法和装置，能够对现有的Hadoop系统进行了全方位的优化，最终实现了Hadoop系统的主、备集群的容灾方案。

为实现上述目的，根据本发明实施例的一个方面，提供了一种系统自动容灾的方法，包括Rout路由组件接收用户提交的应用程序；

Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统；然后Rout路由组件通过调用PolicyStore路由策略组件，获取所述Hadoop分布式系统的路由策略；根据所述路由策略，Rout路由组件调用AMRMproxy通讯组件，将应用程序转发至对应的Hadoop分布式系统。

可选地，Rout路由组件调用StateStore集群状态组件，以确定将应用程序要提交到的Hadoop分布式系统，包括：

Rout路由组件获取StateStore集群状态组件中的各个Hadoop分布式系统的信息和状态，根据Hadoop分布式系统的繁忙程度，采用负载均衡的算法选择将应用程序要提交到的Hadoop分布式系统。

可选地，Rout路由组件获取StateStore集群状态组件中的各个Hadoop分布式系统的信息和状态，包括：

各个Hadoop分布式系统通过心跳定制将信息和状态发送到AMRMproxy通讯组件；AMRMproxy通讯组件调用StateStore集群状态组件的新增接口存储所述信息和状态至StateStore集群状态组件。

可选地，各个Hadoop分布式系统通过心跳定制将信息和状态发送到AMRMproxy通讯组件，包括：

若心跳按时到达，则AMRMproxy通讯组件确定主Hadoop分布式系统正常，后续应用程序继续提交到该主Hadoop分布式系统，并更新StateStore集群状态组件中该主Hadoop分布式系统的信息和状态；

若达到预设的第一心跳阈值，则AMRMProxy通讯组件确定主Hadoop分布式系统繁忙，将应用程序提交到备Hadoop分布式系统，并更新StateStore集群状态组件中该主Hadoop分布式系统的信息和状态；

若达到预设的第二心跳阈值，则AMRMProxy通讯组件确定主Hadoop分布式系统故障，将应用程序提交到备Hadoop分布式系统，并更新StateStore集群状态组件中该主Hadoop分布式系统的信息和状态；其中，第二心跳阈值大于第一心跳阈值。

可选地，获取所述Hadoop分布式系统的路由策略，包括：