[发明专利]实时处理引擎的故障恢复方法及相应的服务器

说明书

本申请的目的是提供一种实时处理引擎的故障恢复方案，该方案中任意一个服务器在启动时若获取到同步锁，则成为主服务器对外提供服务；在主服务器对外提供服务器的过程中，若发生故障，主服务器将释放所述同步锁，以触发备服务器申请所述同步锁，使得备服务器可以获取到同步锁从而成为新的主服务器，此外，主服务器在执行实时处理应用时，记录关于当前执行的实时处理应用的应用信息，以使备服务器在成为主服务器时，通过获取所述应用信息继续执行对应的实时处理应用，从而实现故障的自动恢复。

技术领域

本申请涉及信息技术领域，尤其涉及一种实时处理引擎的自动故障恢复技术。

背景技术

随着大数据技术的发展，企业能够存储和处理的比以往更大规模的数据量，达到TB甚至PB级别。目前企业在海量数据上实现主要是离线分析业务，这类业务从数据的产生到结果的生成往往需要T+1甚至更长的周期。对很多对实时性要求很高的行业来说，这是不能满足他们的业务要求的。如何更快地处理数据、更实时地反馈结果是大数据领域急需解决的问题。

实时处理引擎的出现为满足企业实时地处理大数据的需求提供了可能，通过实时处理引擎，能够帮助企业进行ETL、实时报表分析、甚至实时机器学习等工作。目前市面上主流的几个分布式实时处理引擎包括：Apache Flink，Spark Streaming等，用户通过这些引擎提供的API接口可以实现有实时性需求业务。

实时处理和传统的批处理业务有很大的不同，其中最重要的一点是实时处理业务处理的是没有边界的数据，即数据时源源不断的，客户通常要求实时处理业务7×24不间断的运行。但是由于分布式系统都会因为种种如网络、硬件故障原因导致停止服务，在这种情况下需要能够及时发现，保证数据不发生丢失，最短的时间内进行故障恢复。目前如ApacheFlink以及Spark Streaming等这些主流实时处理引擎，虽然都有提供机制保证数据的可靠性，但是都没有提供一套完整的自动故障恢复服务。

申请内容

本申请的一个目的是提供一种实时处理引擎的自动故障恢复技术。

为实现上述目的，本申请提供了一种实时处理引擎的故障恢复方法，该方法包括：

在获取到同步锁时，成为主服务器；

在执行实时处理应用时，记录关于当前执行的实时处理应用的应用信息，以使备服务器在成为主服务器时，通过获取所述应用信息继续执行对应的实时处理应用；

在发生故障时，释放所述同步锁，以触发备服务器申请所述同步锁。

进一步地，该方法还包括：

在未获取到所述同步锁时，成为备服务器；

在主服务器释放同步锁时，申请所述同步锁；

在通过申请获取到主服务器释放的同步锁时，成为新的主服务器；

获取所述应用信息，并根据所述应用信息继续执行对应的实时处理应用。

进一步地，所述实时处理应用中，通过SQL语句定义关于该实时处理应用的处理操作。

进一步地，关于该实时处理应用的处理操作，包括：

创建所述实时处理应用的操作；

对数据进行实时处理的操作。

进一步地，该方法还包括：

在获取实时处理应用的创建请求时，通过元数据存储将所述实时处理应用持久化保存至数据库中。

进一步地，执行实时处理应用，包括：

获取所述实时处理应用的SQL语句；