[发明专利]Tensor高速缓存及访问结构及其方法

说明书

本发明提供了一种Tensor高速缓存及访问结构及其方法，包括：S1.获取Tensor高速缓存的Tensor结构变量与关联矩阵的映射关系；S2.根据映射关系执行a)或b)：a)将主存中关联矩阵的数据加载到Tensor高速缓存中；b)将Tensor高速缓存中的数据写入主存中的关联矩阵处。本方案将主存中关联矩阵的数据映射提取到Tensor高速缓存片中，并且将关联矩阵的数据切割分别放置在不同的缓存片中，便于后续的数据转换及并行运算，同时能够提高有限的片上存储器的利用率；Tensor高速缓存的数据多维分布，并且数据多维并行处理，能够有效提高数据处理效率，同时能够有效避免存储体访问冲突的问题；实现数据的缓存访问及并行处理，避免片上存储空间的浪费以及数据访问延迟不一致的问题。

技术领域

本发明属于数据缓存和访问技术领域，尤其是涉及一种Tensor高速缓存及访问方法。

背景技术

深度学习和图像处理等算法具有访存和计算规整的特点，目前，针对深度学习和图像处理等算法的数据缓存及访问主要有以下三种方式：

1)私有Cache，共享地址空间

2)独立的便签式存储器

3)共享Cache

但是在共享Cache的情况下采用多个计算引擎进行处理容易产生访存调度复杂和存储体访问冲突的问题。而在采用私有Cache/独立的便签式存储器时，由于同一数据在片上存在多份拷贝，会导致有限的片上存储空间的浪费以及数据访问延迟不一致的问题。

发明内容

本发明的目的是针对上述问题，提供一种Tensor高速缓存及访问结构及其方法。

为达到上述目的，本发明采用了下列技术方案：

一种Tensor高速缓存及访问方法，包括：

S1.获取Tensor高速缓存的Tensor结构变量与关联矩阵的映射关系；

S2.根据映射关系执行a)或b)：

a)将主存中关联矩阵的数据加载到Tensor高速缓存中；

b)将Tensor高速缓存中的数据写入主存中的关联矩阵处。

在上述的Tensor高速缓存及访问方法中，所述的Tensor结构变量包括访问Tensor高速缓存所需要的多维坐标，每个多维坐标项唯一确定一个存储体；

且在步骤S2的指令a)中，通过关联矩阵到多维坐标的映射关系确定一个或多个存储体，并将主存中关联矩阵对应的数据加载到所确定的存储体中；

在步骤S2的指令b)中，根据给定的一个或多个多维坐标项确定相应的一个或多个存储体，并根据映射关系将所确定存储体中的数据写入主存中相应的关联矩阵处。

在上述的Tensor高速缓存及访问方法中，所述的Tensor高速缓存包括至少一个缓存块，每个缓存块上具有二维阵列分布的多个缓存片，每个缓存片上具有二维阵列分布的多个存储体，且每个缓存片对应有一个计算核心以进行缓存片维度上的并行处理和存储体维度上的并行处理。

在上述的Tensor高速缓存及访问方法中，每个计算核心均包括访存部件以使每个缓存片对应于独立的访存部件；

每个计算核心包括寄存器以使每个计算核心均能够暂存数据；

且步骤S2还包括，进一步根据执行指令执行c)-g)的任意一项或多项：

c)由访存部件将Tensor高速缓存中的数据加载到寄存器中；

d)将寄存器中的数据保存到Tensor高速缓存中；

e)将某一列计算核心的数据广播到其他列上；