[发明专利]一种面向GPU的层次递进下钻的性能监测方法

说明书

本发明提供了一种面向GPU的层次递进下钻的性能监测方法，包括：(1)关注CPU程序与设备交互部分，识别CPU和GPU空闲时间、主机端CUDA函数、CPU与GPU数据传输开销以及热点kernel函数；(2)朝着细粒度方向监测，将CUDA模型中的网格grid级别作为一个监测层次，获得GPU设备级别的度量值；(3)向下进行SM级别监测，识别各SM上的负载平衡、执行的线程块数和SM级别的同步指令数；(4)监测其上运行的线程块block执行状况，包括线程块block的执行时间、分支数和同步指令数；(5)监测感兴趣的线程块中的warp行为，获得各warp执行时间、分歧数、同步指令数目以及存储器操作指令数信息；(6)监测CUDA线程的执行信息，包括各线程执行时间。

技术领域

本发明涉及一种信息技术的性能监测分析领域，特别是涉及一种面向GPU的层次递进下钻的性能监测方法。

背景技术

近年来，人工智能、大数据分析等技术的兴起，对高性能计算机性能提出新的要求。传统单一的计算结构逐渐被混合计算结构所替代，以期充分发挥各种组件的特长，为计算能力的提高发挥效力。在混合结构中，GPU作为当前混合结构的加速部分，发挥着越来越重要的作用。混合的计算模式增加了编程的复杂性。在实际开发中，存在很多语法正确但性能很差的程序，仅仅依靠调试环境很难满足实际需求，性能监测分析技术是GPU程序优化和应用性能进一步提高的重要途径。GPU作为一种外部设备，通过PCI-E总线与CPU连接。GPU与CPU地址空间相分离，它们存在异步执行的情形，指令集也不一致。这些硬件差异都给GPU的性能监测分析制造了障碍。目前，GPU的主流开发环境是基于CUDA模型展开的，CUDA程序的执行分为两个部分，一个是kernel函数级别的执行方式，属于粗粒度范畴，以任务并行为主，强调CPU与GPU之间的交互、并行以及CUDA流级别的并行性；而kernel函数内部的执行方式，属于细粒度范畴，以数据并行为主，它是采用了一种类似于早期向量机的并行执行模式：单指令多线程(Single Instruction Multiple Threads，SIMT)，程序尽量少用分支，线程规模庞大，通过快速切换线程来隐藏延迟。这种执行模式相对于传统CPU程序是非常复杂的。这两部分的并行执行模式不同，造成其监测和分析方法也存在较大差异。基于CUDA模型的GPU的性能监测分析技术也通常从这两个方面分别展开。

关于任务并行部分的性能监测，就是将GPU执行函数(即CUDA kernel函数)作为监测的基本单位来参与分析，主要通过设备端和主机端的交互、kernel函数的执行状况、kernel函数执行过程中的设备计数器度量值以及将设备kernel函数作为一个新的维度融入主机端编程模型的混合程序的性能分析，核心问题是如何能够在主机端准确地监测设备端kernel函数的执行信息(主要是时间度量)。通过主机端对设备kernel函数的监测，主要存在下面四种方法：

1)同步的方法：该方法适用于设备的同步操作，而不适于异步操作，比如数据传输与计算重叠的情况下，方法的主要思路是在kernel函数的开始和结束点通过主机端插桩操作进行测量，同步方法中，kernel函数就类似于传统CPU端程序的子函数调用，其优点是思路直观，无需特殊的性能监测机制；不足则表现为适用范围有限，无法支持高效灵活的设备异步执行模式。

2)基于设备事件的监测方法：该方法利用CUDA函数库中提供的API，在kernel函数(也支持其他设备操作，比如异步传输)前后加上设备端计时事件，本质上就是kernel启动函数的包装操作，优点是应用范围广，可以监测异步kernel函数。不足就是该方法依赖厂商提供的API，通常只能计时，度量比较单一。由于计时操作在设备端进行，CPU与GPU频率不同，因此还需要一个时间戳转换过程。另外，计时事件是一个全局的设备事件，可能会致使并行流串行化，从而影响程序的执行行为。