[发明专利]一种自动调度的分布式数据监控系统及方法

权利要求书

1.一种自动调度的分布式数据监控系统，其特征在于，包括：

Nginx反向代理服务器，与被监控对象通过HTTP协议、MQTT协议和WebSocket协议通信连接；

多个告警规则模块，采用Master-Slaver架构进行部署，多个所述告警规则模块均与所述Nginx反向代理服务器通过Http协议连接；

Kafka队列，与多个所述告警规则模块通过Http协议连接；

多个告警计算模块，通过Zookeeper服务器，以Tcp协议方式连接；每个所述告警计算模块均与所述Kafka队列通信连接；

其中，

Nginx反向代理服务器获取被监控对象的监控请求，将监控请求存储在时序数据库OpenTsdb；

当出现告警规则模块宕机时，对多个告警规则模块重新部署；否则，多个告警规则模块根据监控对象的监控请求，分别制定告警规则和多维度的数据逻辑模型，并将多个告警规则和数据逻辑模型存储在MYSQL数据库；

Kafka队列对多个告警规则模块和多个告警计算模块进行解耦；

多个告警规则和数据逻辑模型进入Kafka队列；

Zookeeper服务器协调多个告警计算模块从KafKa队列分别获取各自维护的告警规则和数据逻辑模型，多个告警计算模块分别根据告警规则和数据逻辑模型运算，并行得到多个监控告警结果；

监控告警结果通过kafka队列推送给被监控对象或第三方系统；

所述数据逻辑模型包括：

多个namespace，所述namespace的数目由被监控对象的监控请求决定；

多个metric，分别从属于多个所述namespace；所述metric的数目由被监控对象的监控请求决定；

多个dimension，分别从属于多个所述metric；所述dimension的数目由被监控对象的监控请求决定。

2.根据权利要求1所述的自动调度的分布式数据监控系统，其特征在于，所述Master-Slaver架构包括：

多个Slaver节点，与Zookeeper服务器通信连接；用于计算业务；

Master节点，与Zookeeper服务器通信连接；主要用于管理多个Slaver节点，同时也承担计算业务。

3.根据权利要求1所述的自动调度的分布式数据监控系统，其特征在于，还包括：

MYSQL数据库，与多个所述告警规则模块通信连接；

时序数据库OpenTsdb，与Kafka队列和多个所述告警计算模块通信连接；

集中式缓存模块，与Kafka队列和多个所述告警计算模块通信连接。

4.根据权利要求1所述的自动调度的分布式数据监控系统，其特征在于，所述当出现告警规则模块宕机时，对多个告警规则模块重新部署的步骤包括：

当Master节点的告警规则模块上的检测集群检测到slaver宕机；

Master节点的告警规则模块从Zookeeper服务器获得宕机的slaver告警规则模块的IP地址；

Master节点的告警规则模块从集中式缓存模块的缓存数据中获取宕机的slaver告警规则模块的IP地址对应的告警规则；

Master节点的告警规则模块将宕机机器的IP地址对应的告警规则发送至Kafka系统Kafka队列；

Master节点的告警规则模块和存活的slaver告警规则模块组成新的Master-Slaver架构。