[发明专利]一种表征高性能计算应用特征的方法和装置

说明书

技术领域

本发明涉及高性能计算领域，具体涉及一种表征高性能计算（High Performance Computing，简称HPC）应用特征的方法和装置。

背景技术

随着人类社会的不断进步，科学技术的发展，人们不但对自然界的认识越来越广泛，而且对未知世界探索的需求也越来越迫切。这就使得人类掌握的信息数据的量急剧性的增长，而与此同时，这些海量的信息数据都需要及时的分析和处理。例如，一个大型天文射电望远镜阵列一秒钟就能产生100GB（千兆）以上的宇宙微波数据，这些数据都需要及时得到分析；再如，在粒子物理研究领域，一台大型强子对撞机一次对撞的数据也是以TB（太字节）为单位来计量的；此外，像人类基因组工程、石油勘探、天气预报等等领域也对计算能力提出了越来越高的要求。在这种大背景下数值计算已然成为了除实验、理论分析之外的第三种极其重要的科学探索手段。正是基于这样的现实，促使了当今世界各个科技强国都在不遗余力的大力发展超级计算机。如，在2012年6月发布的世界TOP500中，排名第一的IBM“红杉（Sequoia）”就已经达到了20PFlops（千万亿次浮点指令/秒）的峰值速度，而与此同时新的百亿亿次超级计算机也已经在研究和规划之中了。总的来说，基本上每十年，超级计算机的速度就提升三个量级（1000倍），因此建造超级计算机的能力已经成为一个国家科技水平和综合国力的一个有力体现。

虽然超级计算机发展的速度是惊人的，也令人欣慰，但很遗憾的是与之相配套的软件技术却裹足不前，这已经严重的制约了超级计算机应用能力的发挥。现在绝大多数的应用软件所基于的基本原理和数学算法，还是上世纪50～60年代提出和发展起来的，这些算法与当时的大型机是完全匹配和适应的，以串行或少量进程间并行为主。但经过50多年的发展，现在的超级计算机体系结构已经发生了翻天覆地的变化，动辄拥有几十万乃至上百万的CPU核，而且还有相当一部分超级计算机是使用的混合异构的体系架构，如CPU+GPU（Graphic Processing Unit，图形处理器），或者CPU+MIC（Many Integrated Core，集成众核）等，这就使得早期的物理模型和数学算法力不从心、无法胜任。这就是现在绝大多数的应用软件效率低下、可扩展性差的主要原因。

要破解现在的这些难题，一方面，应该大力研究和发展新的与现今超级计算机体系结构相匹配的物理模型和数学算法，这是突破现有瓶颈的终极手段，但这毕竟是一项极其困难的课题，无法在短时间内见到成效并实现大规模应用；另一方面，应着手研究现在所继承下来的、海量的应用软件，合理的表征它们的运行特征，找出它们的性能瓶颈，最大限度的在现有平台上发挥这些应用的性能，此外还能为应用性能的改进和突破提供有力的依据。因此，如何合理、科学的表征应用的特征就是亟待解决的问题。

发明内容

本发明要解决的技术问题是提供一种表征高性能计算应用特征的方法和装置。

为解决上述技术问题，本发明提供了一种表征高性能计算应用特征的方法，包括：

当节点运行待表征应用程序时，实时监控所述待表征应用程序的运行特征参数；

收集所有运行所述待表征应用程序的节点上监控到的运行特征参数；

对收集到的运行特征参数进行第一统计处理得到代表所有运行特征参数的第一运行特征参数，根据预先设置的参照标准，对所述第一运行特征参数进行第二统计处理，得到表征结果。

进一步地，所述运行特征参数包括以下参数中的一种或多种：CPU使用率、内存占用量、实时输入输出带宽、网络吞吐、一级缓存缺失、二级缓存缺失、三级缓存缺失、一级缓存命中、二级缓存命中、三级缓存命中、实时浮点速度、CPU向量化率、CPU CPI指标、实时内存带宽、实时网络带宽、数据包的大小。

进一步地，所述对收集到的运行特征参数进行第一统计处理得到代表所有运行特征参数的第一运行特征参数，包括：

计算所述收集到的运行特征参数的平均值或方差值，将计算后的结果作为第一运行特征参数；或者

从所述收集到的运行特征参数中选取最大值或最小值，将所述最大值或最小值作为第一运行特征参数。

进一步地，所述根据预先设置的参照标准，对所述第一运行特征参数进行第二统计处理，得到表征结果，包括：

计算所述第一运行特征参数与所述参照标准的比值，将所述比值作为表征结果；或者

将符合参照标准的第一运行特征参数作为表征结果。