[发明专利]一种多任务GPU中TLB管理方法及系统

说明书

本发明提供一种多任务GPU中TLB管理方法及系统，包括：当某个程序访问TLB时，基于所述TLB的访问类型查找对应的TLB项；如果查找成功则返回当前虚拟地址对应的物理地址；否则，按照预先设定的访问优先级寻找并确定TLB替换项，并继续访问下一级TLB，直到查找对应的TLB项或者TLB查找完后从页表中确定当前虚拟地址对应的物理地址。本发明相比TLB完全共享机制，降低不同程序因为共享TLB导致的冲突；相比TLB完全隔离机制，提高TLB资源的整体利用率。

技术领域

本发明涉及GPU多线程架构，具体涉及一种多任务GPU中TLB管理方法及系统。

背景技术

近年来图形处理器GPU因其强大的计算能力在云计算平台和数据中心被广泛应用，为用户提供所需要的计算。与只在GPU上运行一个任务的单任务GPU相比，多任务GPU可以在GPU上同时运行多个任务，有效的提高了资源的利用率。同时多任务SM(simultaneousmultitaksing)是一种支持在GPU上同时运行多个程序的有效方式。如图1在同时多任务中，不同的程序共享同一个SM处理器上的资源，例如寄存器文件，计算单元，访存单元等等，从而实现了多个任务同时运行在一个SM上运行。

当任务例如一个通用并行计算架构CUDA程序被调度到GPU上执行时，该CUDA程序中的一个kernel被划分为了若干个线程块(Block)，一个SM上可以同时执行一个或几个线程块。每个线程块中包含很多线程即CUDA thread，这些线程又以线程束(warp)的形式被组织起来，每个线程束包含32个线程。在同时多任务中，每个SM上可以同时运行来自不同程序的线程块，SM上的warp调度器在每个时钟周期通过特定的warp调度算法从当前SM上的所有warp中选择一个warp出来，执行该warp的当前指令。

现代GPU通常采用虚拟内存的方式管理GPU上的真实物理内存空间，即每一个物理内存页都有一个虚拟内存页与之对应。虚拟内存到物理内存的映射关系通常被存储在内存中的页表。为了加速虚实地址转化的速度，与CPU类似，GPU也采取了快表TLB存储经常被访问的虚拟内存地址。warp中的访存指令执行的过程中会产生访存请求，这些访存请求需要首先需要使用当前请求的虚拟地址依次访问L1、L2 TLB进行虚实地址转化得到真实的物理地址，然后再使用真实的物理地址去访问L1 cache以及存储系统。图2给出了一个虚拟地址通过访问TLB进行虚实地址转换的例子。一个32位的虚拟地址根据内存页大小被划分为虚拟页号和页内偏移。虚拟页号被用来索引TLB，根据比较TLB项的tag标记位查找到该虚拟地址对应的TLB项，然后使用该TLB项的实页号与当前虚拟地址的页内偏移进行拼接得到真实的物理地址。TLB项中除了tag标记位，实页号，还包括AppID用来表示当前TLB项属于当前运行的哪一个程序，以及辅助信息项例如访问计数器用来标记当前TLB项的访问次数以便用于LRU等替换算法中。

当访问请求的虚拟地址在L1和L2 TLB中没有对应的TLB项，即TLB访问失效，则该访存请求需要访存存储在内存中的页表进行虚实地址转换，同时在TLB中找出替换项，等到页表访问完成时将当前虚拟地址对应的物理地址存储到替换项中。相比于访问片上存储的TLB，访问内存中的页表带来了巨大的延迟，从而导致了性能的开销。在多任务GPU中，不同程序的运行时特征不同。有的程序在运行的过程中可能产生大量的访存请求，导致了很大的TLB访问次数，有的程序在运行的过程中则产生的访存请求较少。如何在不同任务之间高效共享TLB成为影响多任务GPU性能的关键因素。

(2)与本发明最接近的技术方案说明

当前GPU上的TLB管理可以采用完全共享或者完全隔离的方案。