[发明专利]间接存储复制方法、处理单元、计算装置以及系统

说明书

本公开实施例提供了一种间接存储复制方法、处理单元、计算装置以及系统。本公开实施例的处理单元包括运算单元、寻址单元和索引缓存，寻址单元和索引缓存位于处理单元外部的主存储区与运算单元之间。运算单元执行间接存储复制指令，间接存储复制指令至少具有基址、索引地址和目的地地址，以将索引地址发送到索引缓存，将基址和目的地地址发送到寻址单元；索引缓存根据索引地址，从主存储区加载相应索引，发送至寻址单元；寻址单元根据基址和索引，确定源数据对应的主存储区的源地址；寻址单元根据源地址，从主存储区中加载源数据，并发送到运算单元的内部缓存的目的地地址。本公开实施例的方案节省了运算单元自身的计算资源。

技术领域

本公开实施例涉及计算机技术领域，尤其涉及一种间接存储复制方法、处理单元、计算装置以及系统。

背景技术

一般而言，诸如图形处理单元(Graphics Processing Unit，GPU)的处理单元访问主存中的源数据包括直接访问和间接访问。在直接访问时，处理单元首先获取源数据在主存中的源地址，然后根据该源地址访问源数据。在间接访问时，处理单元可以获取源地址的索引，根据索引计算出源地址，然后进一步根据源地址访问源数据。间接访问在要访问的数据集中存储在主存中的某一区域时很常见，由于它们存储得比较集中，因此用相对于一个基址的地址表示方法表示地址更有效率。间接访问主要可用于稀疏神经网络、GNN、推荐ML中的嵌入收集等。

现有技术中实现间接访问时，运算单元生成索引加载指令和数据加载指令，通过索引加载指令从主存中加载索引，并且在计算得到源地址之后，采用源数据加载指令加载源数据，但是，这种方式的一个缺点是需要占用运算单元，使运算单元在完成大量计算的同时仍然无法解脱，另外一个缺点是需要多个指令，执行周期长，速度慢。

发明内容

有鉴于此，本公开实施例提供一种间接存储复制方法、处理单元、计算装置以及系统，以节省运算单元自身的指令开销和数据复制速度。

根据本公开实施例的第一方面，提供了一种处理单元。处理单元包括运算单元、寻址单元和索引缓存，所述寻址单元和所述索引缓存位于所述处理单元外部的主存储区与所述运算单元之间，所述运算单元具有内部缓存，其中，所述运算单元执行间接存储复制指令，所述间接存储复制指令至少具有基址、索引地址和目的地地址，以将所述索引地址发送到索引缓存，将所述基址和所述目的地地址发送到寻址单元；所述索引缓存根据所述索引地址，从所述主存储区加载相应索引，发送至所述寻址单元；所述寻址单元根据所述基址和所述索引，确定源数据对应的所述主存储区的源地址；所述寻址单元根据源地址，从所述主存储区中加载所述源数据，并发送到所述内部缓存的所述目的地地址。

在本公开的另一实现方式中，所述间接存储复制指令还具有用于源地址计算的寻址操作数；所述运算单元还将所述寻址操作数发送到所述寻址单元；所述寻址单元根据所述基址、所述索引和所述寻址操作数，确定所述源地址。

在本公开的另一实现方式中，所述寻址操作数包括偏移量和步长中的至少一个。

在本公开的另一实现方式中，所述寻址单元根据以下中的一个确定所述源地址：源地址＝基址+索引；源地址＝基址+索引×步长；源地址＝基址+偏移量+索引；源地址＝基址+偏移量+索引×步长。

在本公开的另一实现方式中，所述索引缓存从所述主存储区加载相应索引，将所述索引与所述索引地址对应存储；所述索引缓存接收到索引地址后，查找已对应存储的索引和索引地址，如找到对应索引，发送至所述寻址单元；如未找到，根据所述索引地址，从所述主存储区加载相应索引。

在本公开的另一实现方式中，所述寻址单元确定所述源地址匹配的主存储区，并且根据所述主存储区与所述运算单元的对应关系，从所述主存储区加载所述源数据。