[发明专利]一种神经网络张量处理器的数据流高速缓存

说明书

本发明公开了一种神经网络张量处理器的数据流高速缓存，包括数据地址映射模块、数据地址生成模块、特征数据SRAM存储器和参数数据SRAM存储器；数据流高速缓存外部连接一个大容量的片外存储器和一个神经网络计算模块，片外存储器保存所有的特征数据和参数数据，数据流高速缓存用于根据神经网络计算模块正在计算的输出张量的行地址，通过数据地址生成模块、数据地址映射模块生成的特征地址和参数地址，预取对应的特征数据和参数数据并缓存在小容量的特征数据SRAM存储器和参数数据SRAM存储器中。数据流高速缓存的一次索引可以输出计算1行输出特征张量所需的大量数据(如几百个字节)，在数据流计算架构下，数据流高速缓存拥有较高的存储效率。

技术领域

本发明涉及神经网络张量处理器领域，尤其涉及一种神经网络张量处理器的数据流高速缓存。

背景技术

传统处理器(CPU、GPU、DSP)使用Cache高速缓存技术在片上存储器内缓存最近经常使用的指令和数据，从而解决芯片内部存储器与外部存储器在内存速度和内存带宽上的巨大鸿沟(芯片内部存储器的内存速度要远大于外部存储器）。在现代处理器系统中，计算性能远大于存储性能，因此处理器内存子系统对现代处理器系统性能的影响起着至关重要的作用。

Cache高速缓存技术使用芯片内部的存储器保存最近使用的指令和数据，并使用指令和数据的内存地址作为索引地址来实现指令和数据的查找与匹配。处理器内核的每个指令和数据的请求都首先访问Cache高速缓存，如果地址命中，则意味着所需的指令和数据已经存储在cache存储器中，无需访问片外存储器便可立刻获得所需的指令和数据。

Cache高速缓存使用指令和数据的内存地址来寻址，而该地址由传统处理器架构中的指令所决定。

Cache是专为指令集架构所设计的高速缓存技术。而对于无指令的数据流计算体系，数据的存取不再由指令所决定，数据将根据系统配置按照处理器架构预先定义的规则进行读写，具有极强的可预见性和规则性，因此，cache高速缓存在数据流架构下无法发挥其作用，传统cache高速缓存技术不再适合于数据流计算体系。

发明内容

有鉴于现有技术的上述缺陷，本发明的目的是提供一种用于神经网络数据流计算架构的高速缓存技术，称为神经网络张量处理器的数据流高速缓存。数据流高速缓存为神经网络张量计算提供数据。

为实现上述目的，本发明提供了一种神经网络张量处理器的数据流高速缓存，包括数据地址映射模块、数据地址生成模块、特征数据SRAM存储器和参数数据SRAM存储器；

所述数据流高速缓存外部连接一个大容量的片外存储器和一个神经网络计算模块，所述片外存储器保存所有的特征数据和参数数据，所述数据流高速缓存用于根据神经网络计算模块正在计算的输出张量的行地址，通过所述数据地址生成模块、所述数据地址映射模块生成的特征地址和参数地址，预取对应的特征数据和参数数据并缓存在小容量的所述特征数据SRAM存储器和所述参数数据SRAM存储器中。

技术效果：

数据流高速缓存的一次索引输出计算1行输出特征张量(神经网络最小计算)所需的大量数据(如几百个字节)，而传统cache的一次索引仅根据地址输出相应小量数据(如4个字节)，因此，在数据流计算架构下，数据流高速缓存拥有较高的存储效率。

进一步的，所述数据地址生成模块用于接收来自神经网络计算模块的输出张量行地址；根据该行地址，所述数据地址生成模块将产生计算该输出张量行数据的所有特征输入数据和参数输入数据的地址，并按照顺序把生成的地址发送给所述数据地址映射模块；所述数据地址生成模块还接收来自外部其他控制模块的配置信息，该配置信息包括输入特征张量的尺寸、输入参数张量的尺寸、输出特征张量的尺寸以及计算模式；根据该配置信息，所述数据地址生成模块自动计算获得输出张量行与输入张量的对应关系，当计算某行输出张量时，按顺序产生计算所需的正确的输入张量数据的地址。