[发明专利]一种面向GPU集群环境的避免GPU资源争用的方法

摘要

本发明公开了一种面向GPU集群环境的避免GPU资源争用的方法，包括支持多应用程序细粒度并发执行的插件，应用程序行为特征抽取和应用程序任务调度。针对同一个NVIDIA GPU节点上运行的多个应用程序可能会引起的GPU资源争用问题，构建一个支持多应用程序细粒度并发执行的平台，使得多个应用程序在同一个GPU节点上可以尽可能的并发执行。其次，抽取每个应用程序的GPU行为特征，包括GPU使用模式和GPU资源需求信息。根据应用程序的GPU行为特征，以及当前GPU集群中各个GPU节点的资源使用状态，调度应用程序到适合的GPU节点上，从而最小化多个独立应用程序在同一个GPU节点上的资源争用。

主权项

一种面向GPU集群环境的避免GPU资源争用的方法，其特征在于，包括以下步骤：步骤1，构建一个支持多应用程序细粒度并发执行的插件：该插件包含一个自行编写的GPU运行时伪函数库和一个自行编写的本地服务器进程，GPU运行时伪函数库与NVIDIA自带的GPU运行时函数库有相同的函数原型，但各个函数实现体的基本功能包括：变换同步函数为异步函数；向本地服务器进程转发相关的函数执行请求；该细粒度并发执行插件的作用为：同一个GPU节点上的多个应用程序对GPU运行时库函数的调用，均需通过GPU运行时伪函数库变换、转发，并通过本地服务器进程执行；步骤2，在GPU集群的头结点，使用自行编写的GPU运行时伪函数库替换NVIDIA自带的GPU运行时函数库，该伪函数库将GPU内存创建类函数、GPU内存拷贝类函数、GPU内核执行函数、GPU同步类函数的函数体替换为相应函数的字符输出信息；当一个用户向GPU集群中的头结点提交待执行的GPU应用程序时，在GPU集群的头结点中运行该应用程序，即能够在避免真实运行的模式下，获得该应用程序运行过程中所需执行的GPU关键函数信息，从而获得该应用程序的GPU使用模式；另一方面，使用NVIDIA自带工具CUOBJDUMP、PTXAS，静态解析该应用程序中的GPU内核函数，能够抽取应用程序所需使用的GPU资源需求信息；步骤3，根据步骤2中的获取应用程序的GPU使用模式和GPU资源需求信息，以及当前GPU集群中各个GPU节点的资源使用状况，在GPU集群的头结点中，调度所到达的GPU应用程序到适宜的GPU节点上运行。