[发明专利]监控告警系统及方法

说明书

本申请涉及一种监控告警系统及方法，监控告警系统包括实时管控平台、hadoop yarn平台和spark streaming平台；实时管控平台分别与所述hadoop yarn平台和spark streaming平台连接；实时管控平台包括提交模块和告警模块，提交模块用于将spark streaming平台任务提交到hadoop yarn平台；告警模块用于对hadoop yarn平台上任务进行监控和/或告警。本申请可以避免开发人员直接在spark集群提交任务由于误操作造成影响整个集群的稳定性，在streaming任务运行异常时，开发人员可通过告警模块及时了解告警消息和通知。

技术领域

本申请涉及计算机网络技术领域，尤其是一种监控告警系统及方法。

背景技术

Spark是一个分布式计算框架，其核心是弹性分布式数据集，可以在快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法。spark已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐。Spark Streaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，从数据源获取数据之后，可以使用高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。

传统Spark Streaming的任务的提交流程为先在本地打包，打好后上传到spark集群，然后通过shell脚本提交任务，但这种操作存在以下弊端：

1、开发人员直接在spark集群提交任务，容易造成误操作，严重影响整个集群的稳定性；

2、不方便实时查看任务的运行状况，只能登录堡垒机查看；

3、streaming任务运行异常时，开发人员收不到告警和通知。

发明内容

为至少在一定程度上克服传统Spark Streaming的任务的提交流程存在诸多弊端的问题，本申请提供一种监控告警系统及方法。

第一方面，本申请提供一种监控告警系统，包括：

实时管控平台、hadoop yarn平台和spark streaming平台；

所述实时管控平台分别与所述hadoop yarn平台和spark streaming平台连接；

所述实时管控平台包括提交模块和告警模块，所述提交模块用于将所述sparkstreaming平台任务提交到hadoop yarn平台；所述告警模块用于对hadoop yarn平台上任务进行监控和/或告警。

进一步的，所述系统还包括：streaming监控告警模块，所述streaming监控告警模块用于实时采集hadoop yarn平台上streaming任务的信息。

进一步的，所述streaming任务的信息包括：节点、应用、应用的历史信息、指定队列的所有任务、指定任务的详细信息中的一种或多种。

进一步的，所述实时管控平台，还包括：存储模块，所述存储模块用于存储所述streaming任务的信息。

进一步的，所述实时管控平台，还包括：展示模块，所述展示模块用于实时展示所述hadoop yarn平台上任务运行数据。

进一步的，所述实时管控平台，还包括：更新模块，所述更新模块用于实时更新任务的状态。

进一步的，所述实时管控平台，还包括：跟踪模块，所述跟踪模块用于跟踪任务的运行情况。

第二方面，本申请提供一种监控告警方法，包括：

构建实时管控平台，所述实时管控平台包括提交模块和告警模块；