[发明专利]一种面向Storm的多粒度可视化监控组件及监控方法

说明书

本发明公开了一种面向Storm的多粒度可视化监控组件及监控方法，所述的监控方法包括：数据采集器从Storm集群中获取拓扑组件的状态信息后，在基本信息数据库中创建基本信息数据库表，并在所述基本信息数据库表中写入基本监控信息；数据处理器获取用户设定的监控粒度数据后，根据拓扑中的节点信息动态地创建监控信息数据表，并计算监控数据，将所述监控数据写入监控信息数据库表中；据显示器读取所述监控信息数据库中的数据，并且实时显示读取的数据。

技术领域

本发明属于大数据计算、流数据处理、系统监控技术领域，特别涉及一种面向Storm的多粒度可视化监控组件及监控方法。

背景技术

随着生产生活中实时产生的流数据达到每秒TB的量级，面向大规模的流数据处理平台的应用也越来越广泛。其中Storm是开源的、分布式、具有可靠性的流数据计算框架，广泛应用于交通、电力、金融等领域的实时大数据处理中。Storm采用主从式架构方式，整个集群由运行Nimbus服务的主节点和运行Supervisor服务的工作节点组成，由Zookeeper负责节点之间的调度和协调。Storm UI监测Storm集群的实时运行情况，包括CPU、内存、网络流量、Nimbus、Supervisor和Topology等状态信息，但是，大部分的数据无法直接反映Storm应用Topology的主要状态，且监控粒度是固定的10分钟。

由于Storm的资源调度机制存在不足，在一定程度上限制了Storm集群的处理能力。因此，Storm集群的弹性资源调度研究越来越关注。实时地获取集群的资源使用情况和应用的状态信息是实现弹性调度策略的前提和关键。现有的技术以及Storm UI无法满足弹性调度的不同需求，且无法直观地监控应用的运行状态。

发明内容

本发明的目的是提供一种面向Storm的多粒度可视化监控组件，其能够获取实时且可靠的多种监控信息。

本发明还提供了一种面向Storm的多粒度可视化监控方法，其能够获取任意监控粒度的监控数据，并保证监控数据的实时性和准确性。

本发明提供的技术方案为：

一种面向Storm的多粒度可视化监控组件，包括：

数据采集器，其用于从Storm UI和日志中获取集群的状态信息；

数据处理器，其接收所述数据采集器获取的信息，并且根据监控粒度和监控参数需求，确定相应的监控数据；

数据显示器，其用于可视化输出所述监控数据。

优选的是，所述数据采集器中引入NFS网络文件系统。

一种面向Storm的多粒度可视化监控方法，包括：

数据采集器从Storm集群中获取拓扑组件的状态信息后，在基本信息数据库中创建基本信息数据库表，并在所述基本信息数据库表中写入基本监控信息；

数据处理器获取用户设定的监控粒度数据后，根据拓扑中的节点信息动态地创建监控信息数据表，并计算监控数据，将所述监控数据写入监控信息数据库表中；

据显示器读取所述监控信息数据库中的数据，并且实时显示读取的数据。

优选的是，数据采集器从Storm集群中获取拓扑组件的状态信息包括：

数据采集器从Storm UI RESTAPI中获取状态信息：根据获取的Topology信息动态计算每个拓扑对应的Storm UI页面地址，以获取UI页面上展示的状态信息；

数据采集器从拓扑产生的日志文件中获取UI中并未提供的状态信息：根据StormUI中的拓扑ID，计算本地日志文件地址，并访问对应拓扑的日志文件，获取该拓扑的进程和线程的缓存队列的占用情况。