[发明专利]神经网络加速装置、方法、芯片、电子设备及存储介质

权利要求书

1.一种神经网络加速装置，其特征在于，包括：依次电连接的存内计算模块、向量处理模块和张量处理模块，以及与所述存内计算模块、向量处理模块和张量处理模块均电连接的存储模块；

所述存内计算模块，包括数据读取单元和至少一个存内计算单元；所述存内计算单元包括神经网络；所述数据读取单元用于发起读数据请求，读取存储模块中的原始数据；所述存内计算模块用于将所述存储模块中的原始数据分配至所述至少一个存内计算单元；所述存内计算单元，用于接收分配的所述原始数据，并对分配至神经网络中的原始数据进行加速计算，计算得到第一数据且将所述第一数据发送至所述向量处理模块和/或所述存储模块；

所述向量处理模块，用于接收所述存内计算模块发送的第一数据，并对所述第一数据进行向量处理，得到对应的第二数据并将所述第二数据发送至所述张量处理模块和/或所述存储模块；

所述张量处理模块，用于接收所述向量处理模块发送的第二数据，并对所述第二数据进行张量处理，得到对应的第三数据并将所述第三数据发送至所述存储模块进行存储；

所述存储模块，用于存储通过总线写入的原始数据、所述存内计算模块发送的第一数据、向量处理模块发送的第二数据以及所述张量处理模块发送的第三数据。

2.根据权利要求1所述的神经网络加速装置，其特征在于，所述将所述存储模块中的原始数据分配至所述至少一个存内计算单元，包括：

获取各个所述存内计算单元对应的神经网络的预设执行顺序，所述预设执行顺序包括所述神经网络的每一层算子对应的执行指令、每一层算子对应的权重在内存中的排列、以及图像处理装置中的数据通路配置；

基于所述预设执行顺序，将所述原始数据分配至各个所述存内计算单元对应的神经网络中。

3.根据权利要求2所述的神经网络加速装置，其特征在于，所述基于所述预设执行顺序，将所述原始数据分配至各个所述存内计算单元对应的神经网络中，包括：

将接收的所述原始数据进行数据类型分类；

基于所述预设执行顺序，将数据类型分类后的原始数据分别分配至多个存内计算单元中的神经网络。

4.根据权利要求1所述的神经网络加速装置，其特征在于，所述对分配至神经网络中的原始数据进行加速计算，计算得到第一数据且将所述第一数据发送至所述向量处理模块和/或所述存储模块，包括：

通过所述存内计算单元根据预设执行顺序对所述神经网络中的原始数据进行加速计算；

基于所述预设执行顺序，将加速计算得到的第一数据发送至向量处理模块和/或存储模块。

5.根据权利要求4所述的神经网络加速装置，其特征在于，所述预设执行顺序的确定方式，包括：

获取神经网络模型文件；

通过神经网络编译器对所述神经网络模型文件进行编译，得到所述神经网络对应的预设执行顺序，所述预设执行顺序包括所述神经网络的每一层算子对应的执行指令、所述神经网络的权重在内存中的排列，以及神经网络加速装置的数据通路配置。

6.根据权利要求1所述的神经网络加速装置，其特征在于，还包括控制器，所述控制器分别与所述存内计算模块、向量处理模块、张量处理模块和存储模块电连接；

所述控制器，用于控制所述存内计算模块、向量处理模块、张量处理模块和存储模块两两之间的数据通路，以及确定所述存内计算模块、向量处理模块、张量处理模块和存储模块的配置信息。

7.根据权利要求6所述的神经网络加速装置，其特征在于，还包括内存管理模块，所述内存管理模块分别与所述存内计算模块、向量处理模块、张量处理模块、存储模块和控制器连接；

所述内存管理模块，用于分别管理所述存内计算模块、向量处理模块、张量处理模块、存储模块和控制器对应的物理内存区域和读写配置。