[发明专利]基于数据访问次数的GPGPU的L1 Cache管理方法

说明书

本发明公开一种基于数据访问次数的GPGPU的L1 Cache管理方法，具体包括：L1 Cache的硬件修改；基于DA计数器值的L1 Cache管理策略；周期地调整统一的默认DA值。本发明旨在解决GPGPU的L1 Cache数据块摇摆问题，主要方法是L1 Cache中的每个缓存块增加访问次数计数器，并且比较计数器的值与默认设定值的大小来决定缓存块的替换和bypass等操作，目标是将频繁被访问的缓存块保持在缓存中，提升命中率，将不会再次被访问的缓存块bypass，提升缓存空间的利用率，最大限度地解决L1 Cache的数据块摇摆问题。

所属技术领域

本发明涉及一种面向GPGPU的L1 Cache管理方法，针对L1 Cache的数据块摇摆问题，提出基于数据访问次数的解决方案，实现将频繁被访问的缓存块保持在缓存中提升命中率，将不会再次被访问的缓存块bypass提升缓存空间的利用率，最大限度地解决L1Cache的数据块摇摆问题。

背景技术

相比于传统处理器(CPU)，通用图像处理器(GPGPU)更适用于高数据并行度的计算任务，具备更优的计算能效比。基于CUDA和OpenCL编程框架，GPGPU可以对很多领域的任务进行加速，比如时下热门的机器学习应用。GPGPU中包含多个独立的计算核心(SIMT Core)，能够同时独立进行计算，具备高并发计算能力。与CPU类似，GPGPU依靠片外DRAM存储计算任务的代码和数据，而GPGPU处理器计算的速度远高于DRAM数据访问的速度，所以GPGPU也需要复杂的存储层次系统来填补处理器与DRAM之间的速度鸿沟。

GPGPU的存储层次系统包括寄存器、L1缓存(cache)、共享的L2缓存以及片外的DRAM内存。一般GPGPU内部有多个SIMT Core，同时运行多个线程组(thread warp)提升线程级并行度。每个SIMT Core包含一个私有的L1缓存，所有的SIMT Core通过内部总线连接一个共享的L2缓存。L2缓存负责缓存数据一致性的控制，并且采用分组(bank)的结构，每个bank通过一私有的内存通道(memory channel)与片外的DRAM相连。如果一个访问请求的目标数据不在L1 Cache中，则该请求归类为缺失请求并发往L2 Cache，如果目标数据在L2Cache命中，则L2 Cache将数据发给L1 Cache；否则，L2 Cache产生一个访问缺失请求，并且发往下一级存储器。

GPGPU的L1 Cache中基本的存储单元是缓存块，每个缓存块可容纳的数据块大小一般是128Byte，每四个缓存块构成一个缓存组(set)。读取的数据块会映射并存储于某特定缓存组的空闲缓存块中，如果对应缓存组没有空闲缓存块，则数据块既可以绕过(bypass)L1 Cache直接到达处理核，也可以选定缓存组中的某缓存块，进行数据块替换。当被替换的数据块再次被访问时，就可能导致L1 Cache的数据块摇摆(cache blockthrashing)问题。缓存数据块摇摆发生在数据块取到缓存后，还没等到再次访问就因为缓存空间有限而被其他新到来的缓存块替换，以至于发生再次访问时，缓存块已经不在缓存中，必须经历很长的延时从下一级存储器取到缓存中，影响访问效率和性能。GPGPU中的每个SIMT Core会调度执行多个线程组，所有线程共享同一私有L1 Cache，当前线程组在L1Cache中的数据块很容易被下一轮执行的线程组的数据块替换，因此GPGPU的多线程运行环境进一步加剧数据块摇摆问题。