[发明专利]计算机服务器集群日志监控方法及监控平台

说明书

本发明涉及计算机技术领域，具体为一种计算机服务器集群日志监控方法及监控平台，该监控方法的具体步骤包括：A.监控计算机服务器集群中的各个服务器在运行过程中主板产生的海量机器码指令，利用大数据技术中的实时流数据采集框架对主板产生的机器码指令进行实时采集；B.对采集到的数据进行数据分类和转移操作，包括实时地过滤，加工并存储；C.对步骤B处理后的数据进行实时分析和展示，获得实时分析结果并存储；D.结合实时分析结果和存储的历史分析结果进行分析，得出计算机服务器潜在异常结果，并进行预警和通知。本发明具有实时、可扩展、自动化、高可用和API扩展丰富等优点。

技术领域

本发明涉及计算机技术领域，具体为一种计算机服务器集群日志监控方法及监控平台。

背景技术

随着信息时代的到来，大数据、云计算和机器学习等技术逐渐成为计算机领域的研究热点。大数据、云计算、机器学习等技术具有一个共同的特点：需要进行复杂而庞大的计算，因此，往往需要使用大量的计算机服务器组成一个或多个集群进行并行计算，合力完成一项或多项计算任务。近年来随着需求日益旺盛，计算机服务器集群规模也从原来的几十台逐渐发展成几百台、几千台，甚至几万台。

随着计算机服务器集群的大规模化，如何管控集群性能指标(例如：服务器的CPU、内存、网络的使用情况、磁盘I/O读写情况等)和如何及时发现集群存在的问题并及时处理逐渐成为机房运维人员面临的的大难题。

现有技术中，机房运维人员采用的主要方法有：

(1)机房定期巡检，查看服务器的指示灯是否有告警；

(2)利用互联网上的一些免费的服务器监控软件，进行协助管理。

然而，随着服务器数量越来越多，成千上万台的服务器，单凭机房管理人员定期巡检，通过肉眼去判断、查看问题，不仅工作量太大，而且容易造成错检、漏检。即使利用互联网上面的监控软件进行协助管理也存在很大的安全问题，由于这些监控软件的内部结构未知，贸然使用，存在木马病毒攻击或黑客入侵风险，并且这些监控软件通常只适用于计算机服务器集群数量较少的应用场合，当服务器数量为几十台时，软件运行性能良好；但如果服务器达到了几百台，几千台甚至几万台，则软件性能会显著下降，甚至出现软件无法支持的情况。