[发明专利]Tensor高速缓存及访问结构及其方法

权利要求书

1.一种Tensor高速缓存及访问方法，其特征在于，包括：

S1.获取Tensor高速缓存的Tensor结构变量与关联矩阵的映射关系；所述的Tensor结构变量包括访问Tensor高速缓存所需要的多维坐标，每个多维坐标项唯一确定一个存储体；S2.根据映射关系执行a)或b)：

a)通过关联矩阵到多维坐标的映射关系确定一个或多个存储体，并将主存中关联矩阵对应的数据加载到所确定的存储体中；

b)根据给定的一个或多个多维坐标项确定相应的一个或多个存储体，并根据映射关系将所确定存储体中的数据写入主存中相应的关联矩阵处；

所述的Tensor高速缓存包括至少一个缓存块，每个缓存块上具有二维阵列分布的多个缓存片，每个缓存片上具有二维阵列分布的多个存储体，且每个缓存片对应有一个计算核心以进行缓存片维度上的并行处理和存储体维度上的并行处理；

每个计算核心均包括访存部件以使每个缓存片对应于独立的访存部件；

每个计算核心包括寄存器以使每个计算核心均能够暂存数据；

且步骤S2还包括，进一步根据执行指令执行c)-g)的任意一项或多项：

c)由访存部件将Tensor高速缓存中的数据加载到寄存器中；

d)将寄存器中的数据保存到Tensor高速缓存中；

e)将某一列计算核心的数据广播到其他列上；

f)将某一行计算核心的数据广播到其他行上；

g)将某一个计算核心的数据广播到其他计算核心上。

2.根据权利要求1所述的Tensor高速缓存及访问方法，其特征在于，在步骤S1中，同时获取二维空间上关联矩阵与Tensor结构变量两者顶点之间的偏移关系，且在步骤S2中，同时根据偏移关系执行相应指令。

3.根据权利要求1所述的Tensor高速缓存及访问方法，其特征在于，在指令c)执行过程中，首先判断本计算核心的访存部件所访存的缓存片是否是本计算核心所需要的，若是，则直接访问，否则获取本计算核心所需要的缓存片，并将该缓存片的数据转存至本计算核心；

在指令d)执行过程中，当本计算核心的访存部件所访存的缓存片不是本计算核心所需要时，将本计算核心寄存器中的处理数据保存至本计算核心所需要的缓存片，否则直接保存至本计算核心对应的缓存片。

4.一种Tensor高速缓存及访问结构，其特征在于，包括数据多维分布的Tensor高速缓存，且所述Tensor高速缓存的多维坐标与主存中的关联矩阵具有映射关系，且所述的Tensor高速缓存连接有Tensor加载/存储部件，所述的Tensor加载/存储部件用于根据映射关系将主存中关联矩阵的数据加载到Tensor高速缓存中或将Tensor高速缓存中的数据写入到主存中的关联矩阵处；

所述的Tensor高速缓存从三维上被切分为多个缓存块，每个缓存块上具有二维阵列分布的多个缓存片，每个缓存片上具有二维阵列分布的多个存储体，所述Tensor高速缓存的多维坐标的每个多维坐标项唯一对应一个存储体。

5.根据权利要求4所述的Tensor高速缓存及访问结构，其特征在于，所述的Tensor高速缓存连接有阵列计算单元，所述的阵列计算单元包括计算核心，所述的Tensor高速缓存包括二维或多维阵列分布的多个缓存片，且每个缓存片对应有一个所述的计算核心。

6.根据权利要求5所述的Tensor高速缓存及访问结构，其特征在于，所述的计算核心包括寄存器和访存部件，所述的寄存器用于暂存数据以为计算提供数据或暂存计算所得的处理数据，所述的访存部件用于访存相应的缓存片，且阵列单元中的计算核心4通过核间通信模块实现计算核心之间的数据交换。

7.根据权利要求6所述的Tensor高速缓存及访问结构，其特征在于，核间通信模块包括垂直通信网络和水平通信网络，其中垂直通信网络用于数据的水平循环移动和/或水平广播，垂直通信网络用于数据的垂直循环移动和/或垂直广播。