[发明专利]一种面向数据结构的图形处理器数据预取方法及装置

说明书

本发明公开了一种面向数据结构的图形处理器数据预取方法及装置，方法包括获取监控处理器核对图数据结构的存储访问读请求的信息及读取的数据，利用宽度优先搜索定义的数据结构访问模式以及图数据结构信息来产生相应的四种向量预取请求并存入预取请求队列。装置包括分布在每一个处理单元中的数据预取单元，所述数据预取单元分别与访存指令单元的访存监视器、访存结果缓存以及一级缓存相连，所述数据预取单元包括地址空间分类器、运行时信息表、预取请求生成单元以及预取请求队列。本发明更加准确和高效地预取使用宽度优先搜索进行图遍历所需的数据，从而提高GPU处理图计算问题的性能。

技术领域

本发明涉及图形处理器的数据预取领域，具体涉及一种面向数据结构的图形处理器数据预取方法及装置。

背景技术

随着图计算应用的问题规模不断增长，使用图形处理器(GPU)并行加速图计算应用成为计算机处理大规模图计算问题的关键。但是，由于大多数图计算应用是访存密集型应用，因此这些应用最大的时间开销来自于遍历图产生的存储访问。宽度优先搜索是许多图计算应用进行图遍历的基本算法。但是，由于宽度优先搜索的不规则存储访问，导致GPU对每个不规则的存储访问都要产生多于一个的存储访问请求。这个极大地影响了GPU的访存效率，进而导致GPU不能有效地加速宽度优先搜索。另外，GPU对图数据结构的访问缺乏足够的局部性，进而导致GPU对一些数据的缓存访问失效率高达80％。更糟糕的是，由于缺乏足够的算术计算，GPU无法通过大规模并行来实现延迟隐藏，流水线不得不暂停来等待数据。最终，GPU无法充分利用它的强大计算能力来加速宽度优先搜索算法。

数据预取是一项有希望可以提高存储器访问和缓存效率的技术。GPU上典型的数据预取器，例如，基于步长的数据预取器、基于数据流的预取器和基于全局历史访存信息的数据预取器，都可以有效地减少应用中规则存储访问的延迟。然而，对于非规则存储访问，典型的基于预测的数据预取器的预取错误率明显高于对规则存储访问的预取。这样高的预取错误率直接导致读取过多的无用数据，进而产生严重的缓存数据污染和存储器带宽浪费。另外，由于基于访存模式识别的预取器无法准确识别出复杂多变的非规则访存模式，这些类型的数据预取器对减少访存延迟和提高GPU的执行效率几乎没有任何贡献。

通常来讲，主要有三种典型的数据预取机制：基于步长的数据预取器(strideprefetcher)、基于数据流的预取器(stream prefetcher)以及基于全局历史访存信息的数据预取器(Global History Buffer prefetcher)。

如图1所示，基于步长的数据预取器会使用一个表来记录局部的存储器历史访问信息。这些信息主要包括：程序计数器值(PC，作为表的索引)、最近一次访存的地址(用来计算步长和下次访存的地址)、最近两次访存地址之间的步长(最近两次访存地址的差值)以及步长有效位(标记当前记录的步长是否有效)。如果同一个PC的访存指令的访存地址具有固定步长，那么基于步长的数据预取器就会根据步长值和最近访问的地址计算出将要被预取数据的地址。

如图2所示，基于数据流的预取器通常会跟踪对某一块存储区域访问的方向。当所有访存的地址都是朝着同一个方向进行连续变化，基于数据流的预取器就会按照识别出的方向将数据以缓存块为单位不断地读取到预取器的缓冲中。之所以不将预取的数据存入片上缓存，是为了避免预取的数据污染缓存中有用的数据。当某一次数据访问导致缓存失效时，缓存才会将预取的缓存块存入缓存。当识别的顺序访存模式发生改变，预取器的缓冲就会被刷新。