[发明专利]GPU读写单元通过操作数收集器访问寄存器文件的方法

说明书

本发明公开了一种GPU读写单元通过操作数收集器访问寄存器文件的方法，包括：当所有的操作数都获取完毕后，第一解复用器的选择信号为假，获取的操作数通过第一解复用器将数据分发给读写单元中的访存请求生成器，同时操作数收集器的非空信号为假；若发生命中并且命中数据位于L1cache中，数据行索引信号通过第二解复用器和第五多路选择器被发送到L1cache，将获取的数据通过第一多路选择器发送到数据缓冲器；若发生命中并且访存数据位于寄存器文件中，数据行索引信号通过第二解复用器和第四多路选择器被发送到地址转换单元，将数据行索引转换为寄存器地址，经第五解复用器和第一控制逻辑发送到操作数收集器，操作数收集器的非空信号变为真。

技术领域

本发明涉及GPU(图形处理器)中的cache(高速缓冲存储器)和寄存器文件体系结构领域，尤其涉及一种GPU读写单元通过操作数收集器访问寄存器文件的方法，从而能够使访存数据保存到寄存器文件中，间接增大了L1cache(一级高速缓冲存储器)的有效容量。

背景技术

近年来，GPU已经发展成一种多线程的高性能并行通用计算平台，并且GPU的计算能力随着工艺技术的发展仍然在快速提高。与传统的CPU相比，GPU在处理能力和储存器带宽上有着明显的优势，在成本和功耗上也不需要付出太大的代价，吸引着越来越多的应用程序在GPU上进行加速。

在GPU软件层面，应用程序在GPU上运行时，首先需要将应用程序的任务细分为若干个可以独立运行的线程，再将多个线程组织成线程块，线程块的大小由软件来决定^[1]。在GPU硬件层面，一个GPU由若干流多处理器、片内互联网络以及存储器构成。流多处理器内部具有支持多线程并行运行的寄存器文件，标量处理器，特殊功能单元，读写单元，共享存储器，L1cache等硬件资源。线程以线程块为单位分别被发送到各个流多处理器上进行执行，而在流多处理器内部，线程块内的线程又被硬件组织为大小固定的线程束，线程束是GPU的最基本的调度单元^[2]。线程束内的线程以并行的方式运行，共享同一程序计数器。不同的线程束则通过线程束调度器的调度以零代价进行交替执行，从而隐藏操作延迟。

为了支持线程束之间的交替运行，需要为每个线程束分配独立的寄存器文件空间，并且线程束所需的寄存器文件空间会随着内核的不同而变化。另外，由于每个流多处理器能够支持数十个线程束，因此寄存器文件的容量可达上百KB^[3]。而L1cache的容量仅有数十KB，并且不同于寄存器文件的独立分区，L1cache被流多处理器内的所有线程共享。在一些不规则的应用程序中，线程会对L1cache产生恶性竞争，造成L1cache命中率较低、无法全面发挥GPU的计算能力^[4]。

参考文献

[1]NVIDIA Corporation.2015.NVIDIA CUDA C Programming Guide

[2]E.Lindholm,J.Nickolls,S.Oberman,J.Montrym.“NVIDIA Tesla:A UnifiedGraphics and Computing Architecture”,IEEE Micro,vol.28,no.2,pp.39-55,2008.

[3]M.K.Yoon,K.Kim,S.Lee,W.W.Ro,and M.Annavaram.2016.Virtual thread:Maximizing thread-level parallelism beyond GPU scheduling limit.InProceedings of the IEEE/ACM International Symposium on Computer Architecture(ISCA’16).609–621.