[发明专利]神经网络加速装置、方法、芯片、电子设备及存储介质

说明书

本申请提出了一种神经网络加速装置、方法、芯片、电子设备及存储介质，该装置包括：存内计算模块，用于将原始数据分配至多个存内计算单元进行加速计算，计算得到第一数据后发送至向量处理模块或存储模块；向量处理模块，用于对接收的第一数据进行向量处理，得到第二数据后发送至张量处理模块或存储模块；张量处理模块，用于对接收的第二数据进行张量处理，得到第三数据后发送至存储模块；存储模块，用于存储原始数据、第一数据、第二数据和第三数据。本申请能够解决现有神经网络加速器功耗过高的问题，在同等算力需求下降低功耗，从而拓展神经网络加速器在功率较低且功耗要求较高的边缘端处理器的应用。

技术领域

本申请涉及计算机和数据处理技术领域，具体涉及一种神经网络加速装置、方法、芯片、电子设备及存储介质。

背景技术

目前现有的神经网络加速器（Neural Processor Unit，NPU）是由一系列的数字电路组建构成，其主要作用是实现对卷积神经网络的加速处理，相比于在CPU或者GPU上处理，能够达到更快的处理速度，以及所需更低的功耗。另外，为了推进人工智能的发展，现有技术还提出了一种新的内存计算CIM架构，能够在内存中进行计算，目前主要用于数据密集型计算，在大数据应用方面具有诸多优势。

但是，在对现有技术的研究与实践的过程中，本申请的发明人发现，目前现有的神经网络加速器的功耗主要是由其数字乘加器产生，而且这一部分的功耗在算力一定的前提下可优化的空间不大，仅能依靠生产工艺的进步而降低，从而在边缘端处理器上限制了其算力及应用。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

针对上述技术问题，本申请提供一种神经网络加速装置、方法、芯片、电子设备及存储介质。

为解决上述技术问题，本申请提供了一种神经网络加速装置，包括：依次电连接的存内计算模块、向量处理模块和张量处理模块，以及与所述存内计算模块、向量处理模块和张量处理模块均电连接的存储模块；

所述存内计算模块，包括数据读取单元和至少一个存内计算单元；所述存内计算单元包括神经网络；所述数据读取单元用于发起读数据请求，读取存储模块中的原始数据；所述存内计算模块用于将所述存储模块中的原始数据分配至所述至少一个存内计算单元；所述存内计算单元，用于接收分配的所述原始数据，并对分配至神经网络中的原始数据进行加速计算，计算得到第一数据且将所述第一数据发送至所述向量处理模块和/或所述存储模块；

所述向量处理模块，用于接收所述存内计算模块发送的第一数据，并对所述第一数据进行向量处理，得到对应的第二数据并将所述第二数据发送至所述张量处理模块和/或所述存储模块；

所述张量处理模块，用于接收所述向量处理模块发送的第二数据，并对所述第二数据进行张量处理，得到对应的第三数据并将所述第三数据发送至所述存储模块进行存储；

所述存储模块，用于存储通过总线写入的原始数据、所述存内计算模块发送的第一数据、向量处理模块发送的第二数据以及所述张量处理模块发送的第三数据。

可选地，所述将所述存储模块中的原始数据分配至所述至少一个存内计算单元，包括：

获取各个所述存内计算单元对应的神经网络的预设执行顺序，所述预设执行顺序包括所述神经网络的每一层算子对应的执行指令、每一层算子对应的权重在内存中的排列、以及图像处理装置中的数据通路配置；

基于所述预设执行顺序，将所述原始数据分配至各个所述存内计算单元对应的神经网络中。

可选地，所述基于所述预设执行顺序，将所述原始数据分配至各个所述存内计算单元对应的神经网络中，包括：

将接收的所述原始数据进行数据类型分类；

基于所述预设执行顺序，将数据类型分类后的原始数据分别分配至多个存内计算单元中的神经网络。