[发明专利]一种媒体大数据hadoop集群监控的方法

摘要

一种媒体大数据hadoop集群监控的方法，它涉及系统运维领域。它解决了无法实现对其整体的监控，从而导致监控结果可能存在误差，难以准确判断故障对系统的实际影响的问题。本发明通过在hadoop集群所监控设备部署监控进程，分发监控阈值，控制监控进程定时采集hadoop运行状况，经自动分析比对后将异常事件通过短信网关发送短信实现告警。本发明的优点如下实现了Hadoop集群监控指标的建立以及与媒体大数据集中监控平台的对接，解决了目前媒体大数据Hadoop监控存在的指标不完善、需单台实现等问题，降低了运维风险，提高了工作效率。

主权项

一种媒体大数据hadoop集群监控的方法，其特征在于：该方法的步骤如下：步骤一、设置监控管理机和短信网关，并将短信网关与监控管理机相连，监控管理机与hadoop集群连接；步骤二、监控进程，接收监控管理机的控制命令：启动、停止、更新监控阈值、更新监控指标、更新监控脚本，按时间片判断监控时间间隔，如到达时间间隔则进行监控指标采集循环；对hadoop的关键服务通过进程状态查询命令得到这些服务的状态；对hadoop的Syslog日志文件进行读取，运行监控脚本读取其中的关键字和关键指标；对系统资源通过内存、存储、cpu使用率查询命令得到指标数据指标，将采集的指标与阈值进行比较，达到则产生告警事件数据，将告警事件数据推送给监控管理机；步骤三、提供操作界面供用户设置监控指标、阈值、监控脚本、告警短信接收号码等，向监控进程推送监控指标、阈值、监控脚本，提供操作界面供用户发出监控开始、停止命令，将命令推送至监控进程，接收监控进程推送来的监控事件告警数据后，转换为短信网关接口格式，添加接受号码，发送至短信网关，实现告警短信发送。