[发明专利]计算机服务器集群日志监控方法及监控平台

摘要

本发明涉及计算机技术领域，具体为一种计算机服务器集群日志监控方法及监控平台，该监控方法的具体步骤包括：A.监控计算机服务器集群中的各个服务器在运行过程中主板产生的海量机器码指令，利用大数据技术中的实时流数据采集框架对主板产生的机器码指令进行实时采集；B.对采集到的数据进行数据分类和转移操作，包括实时地过滤，加工并存储；C.对步骤B处理后的数据进行实时分析和展示，获得实时分析结果并存储；D.结合实时分析结果和存储的历史分析结果进行分析，得出计算机服务器潜在异常结果，并进行预警和通知。本发明具有实时、可扩展、自动化、高可用和API扩展丰富等优点。

主权项

1.一种计算机服务器集群日志监控方法，具体步骤包括：A.监控计算机服务器集群中的各个服务器在运行过程中主板产生的海量机器码指令，利用大数据技术中的实时流数据采集框架对主板产生的机器码指令数据进行实时采集，所述机器码指令至少包括内存指令、CPU指令、磁盘IO指令、网络流量指令、TCP连接数指令、应用进程参数指令；其中：通过RHCS技术，在2台服务器上部署主监控节点的监控服务，监控服务自动在计算机服务器集群中的服务器上部署采集代理，以保证监控服务在高可用状态，主监控节点能自动扫描发现并添加集群内新增的服务器至监控列表，自动添加被监控服务器的监控项；2台服务器采用主‑从服务器的工作方式：主服务器工作，从服务器处于监控准备状况；当主服务器宕机时，从服务器接管主服务器的一切工作，待主服务器恢复正常后，按使用者的设定以自动或手动方式将服务切换到主服务器上运行；所述流数据采集框架包括N个采集代理模块、采集服务模块、数据过滤模块、动态性能平衡模块和分布式流计算模块，所述N个采集代理模块运行在N个被监控节点上，实时采集被监控节点上的海量机器码指令，所述采集服务模块运行在主监控节点上，实时采集各采集代理模块发送的机器码指令并将其发送至数据过滤模块，所述数据过滤模块运行在主监控节点上，接收采集服务模块发送的机器码指令并将进行初步过滤，并将过滤后的机器码指令发送至分布式流计算模块，所述动态性能平衡模块用于动态平衡采集代理模块与采集服务模块、采集服务模块与数据过滤模块、数据过滤模块与分布式流计算模块之间的服务性能；B.对采集到的机器码指令进行数据分类和转移操作，包括实时地过滤、加工及存储；其中：所述的实时地过滤、加工及存储具体包括：通过基于Flume+Kafka+Storm框架的分布式流计算服务把服务器生成的机器码半结构化数据进行初步的过滤，保留用于分析的数据，再把该部分的数据翻译成可读的、有规律的结构化及半结构化数据，翻译后的数据通过HBase高性能列式数据库进行存储，结合Phoenix对外提供数据的实时读/写，HBase利用HDFS分布式文件系统做持久化数据存储，同时使用Hive提供静态结构化数据的查询，其使用类SQL语言，底层经过编译转位MapReduce程序在Hadoop上运行，当数据存储节点使用率过高时，通过增加新的存储节点进行水平扩展以保证步骤B的正常运行；C.对步骤B处理后的数据进行实时分析和展示，获得实时分析结果并存储；D.结合实时分析结果和存储的历史分析结果进行分析，得出计算机服务器潜在异常结果，并进行预警和通知。