[发明专利]一种面向高性能的异构多核共享cache缓冲管理方法

说明书

本发明公开一种面向高性能的异构多核共享cache缓冲管理方法，首先在共享末级缓存L2级Cache(LLC)的GPU侧建立一个与其结构相同的缓冲buffer，GPU消息首先访问buffer，从而达到过滤GPU流请求的目的，为CPU应用程序腾出LLC空间。在加入buffer的基础上，针对CPU应用程序和GPU应用程序不同的特性，采用合理的替换策略，增加cache命中率。最后，调整buffer的大小，根据IPC划分指标在运行前改变buffer大小，找到最优性能方案，从而达到提升系统性能的目的。

技术领域

本发明属于计算机体系缓存系统结构领域，具体涉及一种面向高性能的异构多核共享cache缓冲管理方法。

背景技术

随着半导体工艺的进步，以及单处理器所碰到的物理极限和功耗等无法逾越的障碍，体系结构技术发生了深刻的变革。经过最近几年的不断研究与发展，以多核处理器为代表的先进体系结构已经逐渐取代单核处理器成为提高处理器性能的主要途径。多核处理器在一个芯片中集成多个处理器核，这些处理器核具有相同或者不同的功能和结构，以一种有效的方式集成在同一个芯片中，并以有效的划分方式将应用程序分配给不同的微处理器核进行并行处理，从而提高微处理器系统的性能。多核体系结构强调结构的层次化、功能的模块化与分布化，它让每个功能部件都尽量简单，部件内部尽可能保持连线的局部性。较之单核处理器，多核处理器具有很多天然的优势。多核处理器可以在较低的时钟频率下提供单核处理器需要很高时钟频率才能达到的计算性能，而较低的时钟频率也可以很好地满足功耗、散热等方面的限制。此外，多核处理器的本质是采用相对较简单的多个计算内核并行工作，以提供较高的计算能力。因此，设计者在设计多核处理器时，只需设计相对较简单的计算内核，并通过一定的互连方式将其连接起来。与传统的设计单个内核的复杂处理器相比，这大大降低了设计的难度和成本，提高了设计的效率。

图形处理器(Graphics Processing Unit，GPU)具有相对简单的控制逻辑，集成有大量并行处理核心，具有较高的峰值效能(单位功耗的计算性能)。GPU技术发展迅速，随着GPU的计算能力和可编程性的不断提高，利用GPU进行通用计算逐渐成为研究的热点。Nvidia和AMD分别提出了自己的GPU通用计算技术CUDA和ATI Stream。使用CPU-GPU混合计算是一种简单、有效的方法，在把大量并行运算交给GPU的同时，CPU除了负责程序流程控制之外，也承担一部分计算任务，通过控制计算任务的比例分配，尽量减少计算过程中CPU和GPU的闲置资源，从而达到不浪费计算资源的目的。

最后一级共享缓存(The shared last-level Cache，简称LLC)在CPU与GPU之间形成一个共享的存储层次，可以加速它们之间的数据传输。LLC相对L1缓存有较大的空间，相对内存有更快的访问速度，其访问策略对异构系统的性能具有重大影响。与CPU相比，GPU线程数量更多，并行度高，GPU应用程序可以达到比CPU应用程序更多的数据访问速率，具有一定的访问延迟容忍性。由于GPU很高数目的并发线程和容忍访存延时特性，在当前的缓存管理方法下，LLC收到数千个来自GPU应用程序线程的内存访问支配，大量的LLC空间将被GPU应用程序所占据，而留给CPU的空间非常有限，导致现有的cache共享策略有利于GPU核心，而不利于CPU核心，CPU应用程序对于共享LLC的访问会明显降低。应用程序一旦发生高速缓存尤其是末级高速缓存缺失，则需要额外地去访问片外主存，造成不必要的开销，降低了系统的性能。因此，在异构多核架构中，共享LLC的管理对于系统性能的影响至关重要。