[发明专利]智能监控大规模数据中心集群计算节点的系统和方法

说明书

技术领域

本发明涉及计算机技术领域，具体涉及一种智能监控大规模数据中心集群计算节点的系统和方法。

背景技术

随着人类社会的不断进步，科学技术的发展，人们不但对自然界的认识越来越广泛，而且对未知世界探索的需求也越来越迫切。这就使得人类撑握的信息数据的量急剧性的增长，而与此同时，这些海量的信息数据都需要及时的分析和处理。例如，一个大型天文射电望远镜阵列一秒钟就能产生100GB以上的宇宙微波数据，这些数据都需要及时得到分析；再如，在粒子物理研究领域，一台大型强子对撞机一次对撞的数据也是以TB为单位来计量的；此外，像人类基因组工程、石油勘探、天气预报等等领域也对计算能力提出了越来越高的要求。在这种大背景下数值计算已然成为了除实验、理论分析之外的第三种极其重要的科学探索手段。正是基于这样的现实，促使了当今世界各个科技强国都在不遗余力的大力发展超级计算机。如，在2013年12月发布的世界TOP500中，排名第一的中国“天河二号(TH-2)”就已经达到了54.9PFlops的峰值速度，共使用了16000余个计算节点。

除此之外，随着云计算、大数据、物联网等新型技术的发展，出现了越来越多的大型数据中心，云计算中心。它们动辄拥有数以万计的计算机节点。如谷歌(Google)位于美国俄勒冈州的Dalles数据中心拥有约15万台服务器节点。在这样大规模的数据中心中，计算节点的性能监控，故障定位，故障恢复，以及中心整体效率统计等等，都存在着前所未有的挑战。因此，如何高效的管理和利用一个大规模乃至超大规模的数据中心，是当今世界各国都在努力探索的一个热门领域。

长期以来，数据中心的监控管理都是靠人工半自动的方式来完成的。负责运维的人员需要实时的查看集群的运行状态，一旦出现问题，虽然有时可以定位节点位置，却往往不能准确定位故障的设备，还需要费时费力通过工作人员的经验来判断、排障；集群的用户虽然可以通过众多的作业调度软件了解自己的作业情况，却很少可以统计到作业的历史分析；再者集群的决策者往往无法直接从集群上得到有关费用支出、使用效率、人员工作效率、费效比等有关决策的信息资料，只能通过对大量数据的人工分析来决策，费时费力。此外，应用开发人员也往往无法从集群上获得优化应用软件急需的硬件微架构、系统进程、堆栈、模块错误崩溃统计等信息，需要凭经验通过大量的实验得到，即费时又费力。

发明内容

本发明提出了一种智能监控大规模数据中心集群计算节点的系统和方法，具有大型化、多功能、面向多用户群的特点。它拥有完善的智能分析和统计功能，可以为不同层次用户的决策提供数据参考依据。

所述系统，包括：安装在数据中心集群计算节点上的监控节点、与各个监控节点通信的监控设备、以及用户终端设备，其特征在于：

所述监控节点，用于通过获得计算节点的硬件控制寄存器的控制权，采集所述计算节点的硬件微架构数据指标，通过获得操作系统内核的控制权，获得与所述计算节点上运行的应用程序的进程相关的数据指标，并将所述数据指标发送到监控设备；

所述监控设备，用于接收所述数据指标，基于所述数据指标执行大数据分析，并将所述分析的结果发送到用户终端设备；

所述用户终端设备，用于接收所述结果并显示给用户。

所述方法包括：

启动安装在计算节点中的监控节点；

所述监控节点通过获得计算节点的硬件控制寄存器的控制权，采集所述计算节点的硬件微架构数据指标，通过获得操作系统内核的控制权，获得与所述计算节点上运行的应用程序的进程相关的数据指标，并将所述数据指标发送到监控设备；

所述监控设备接收所述数据指标，基于所述数据指标执行大数据分析，并将所述分析的结果发送到用户终端设备；

所述用户终端设备接收所述结果并显示给用户。

特别地，所述分析包括：根据所述数据指标定位发生故障的计算节点，以及确定故障原因。

特别地，所述硬件微架构数据指标包括CPU的实时浮点运行速度、流SIMD指令扩展集SSE单元利用率、高级向量扩展集AVX单元利用率、向量指令向量化率、完成每条指令所需的时钟数CPI、最后一级缓存LLC命中率、内存带宽、PCI快速总线接口PCI-E设备带宽、缓存命中/未命中率中的一种或多种的组合；所述与所述计算节点上运行的应用程序的进程相关的数据指标包括进程切换次数、堆栈信息、堆内存分配情况中的一种或多种的组合。