[发明专利]一种基于GPU的多应用调度系统和方法

说明书

本发明涉及一种基于GPU的多应用调度系统和方法。本系统包括应用分析模块、应用管理模块、系统信息模块和应用调度模块，通过应用分析模块分析应用所需GPU内存大小、数据局部性，并结合应用的优先级生成应用信息；通过应用管理模块将新应用和执行失败应用的信息分别按照时间先后顺序存放在两个队列里，称它们为新应用队列和执行失败应用队列；通过系统信息模块收集应用在GPU系统中执行信息和GPU内存和缓存信息；通过应用调度模块中的GPU调度方法调度应用的执行，以此实现GPU内存和缓存资源的分配。本发明通过一种基于GPU的多应用调度系统和方法能保证多个应用合理的使用GPU内有限的GPU内存和缓存资源。

技术领域

本发明涉及一种基于GPU的多应用调度系统和方法，属于计算机和通信领域。

背景技术

图形处理单元（又称GPU）已经广泛应用于图像处理、人工智能等多个领域，可以为多应用和大数据提供强大的计算能力。为了保持高计算能力，GPU在有限的硬件面积上优先集成了大量的处理核，导致GPU本身的内存相对较小，因此GPU内存成为GPU处理多应用和大数据处理的一个瓶颈。为缓和这个瓶颈，GPU常采用缓存技术来提高数据的读写效率以便降低GPU内存对GPU性能的限制，但是相对于GPU内存，缓存容量更小，缓存资源竞争更激烈。另外，应用使用缓存的效果由应用的数据局部性决定，该特性表现在应用使用缓存的命中率上。当某个应用的数据局部性很差时（例如流数据处理和迭代计算的应用），若其使用缓存，缓存的未命中率很高，执行效果不会有明显的提高。

目前，上述问题并没有很好的解决。首先，GPU的生产厂商未提供有效的资源管理或调度策略来分配GPU内存和缓存资源。以英伟达（NVIDIA）的GPU产品为例，当多个应用进入GPU系统时，会按照先来先使用的方式获取GPU内存和缓存资源，这没有考虑应用的数据局部性、优先级和所需GPU内存等要求。其次，当用户不知道应用的数据局部性时，会倾向于申请使用缓存，这经常造成缓存资源的浪费。最后，一些应用的数据局部性值已被获得，但存在大量未知数据局部性的应用，需要用GPU模拟器（例如GPGPU-SIM）进行仿真测试获得其数据局部性值。

发明内容

针对上述现有技术存在的不足，本发明的目的在于提供了一种基于GPU的多应用调度系统和方法，能够保证多个应用合理的使用GPU内有限的GPU内存和缓存资源。为达到上述目的，本发明采用下述技术方案：一种基于GPU的多应用调度系统包括应用分析模块、应用管理模块、系统信息模块和应用调度模块：

（1）所述应用分析模块连接应用管理模块和应用调度模块，主要用于分析应用所需GPU内存大小、数据局部性，并结合应用的优先级生成应用信息；

（2）所述应用管理模块连接应用分析模块和应用调度模块，主要将新应用和执行失败应用的信息分别按照时间先后顺序存放在两个队列里，称它们为新应用队列和执行失败应用队列；

（3）所述系统信息模块连接应用调度模块，主要用于收集应用在GPU系统中执行信息和GPU内存和缓存信息；

（4）所述应用调度模块连接应用分析模块、应用管理模块和系统信息模块，主要用一种基于GPU的多应用调度方法调度应用的执行，以此实现GPU内存和缓存资源的分配。

作为优选方式，一种基于GPU的多应用调度系统的应用分析模块主要用于分析应用所需GPU内存大小、数据局部性，并根据应用的优先级生成应用信息，所述分析应用所需GPU内存大小的方法：

首先在应用源代码中搜索到GPU内存分配函数代码，然后从中获取GPU内存分配大小的参数值，并将参数值保存到应用信息中。

作为优先方式，一种基于GPU的多应用调度系统的应用分析模块主要用于分析应用所需GPU内存大小、数据局部性，并根据应用的优先级生成应用信息，其功能有：

应用数据局部性用该应用的缓存未命中率表示，应用数据局部性值等于应用缓存未命中率，并且将已知的应用数据局部性值保存到一个基本应用表中；