[发明专利]神经网络加速装置与方法

说明书

提供一种神经网络加速装置与方法，该装置包括：输入单元，用于获取输入特征值；计算单元，用于对该输入单元接收的该输入特征值进行计算处理，获得输出特征值；输出单元，用于在该计算单元获得的该输出特征值的定点格式与预设定点格式不同的情况下，按照该预设定点格式对该输出特征值进行低位移出和/或高位截断，获得目标输出特征值，该目标输出特征值的定点格式为该预设定点格式。本申请通过神经网络加速装置对数据的定点格式进行调整，由于无需CPU来执行数据的定点格式的调整，在一定程度上减少了对DDR的占用，因此可以减少资源耗费。

版权申明

本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。

技术领域

本申请涉及神经网络领域，并且更为具体地，涉及一种神经网络加速装置与方法。

背景技术

当前主流的神经网络计算框架中，基本都是利用浮点数进行训练计算的，例如，神经网络计算框架训练后得到的权重系数和各层的输出特征值都是单精度或双精度浮点数。由于定点运算装置相比于浮点运算装置占用的面积更小，消耗的功耗更少，所以神经网络的加速装置普遍采用定点数作为计算单元运算时要求的数据格式。因此，神经网络计算框架训练得到的权重系数和各层的输出特征值在神经网络的加速装置中部署时，均需要进行定点化。定点化指的是将数据由浮点数转换为定点数的过程。

当前技术中，权重系数的定点化通常在网络部署之前由配置工具完成。输入特征值(或输出特征值)的定点化通常在神经网络计算过程中由中央处理器(CentralProcessing unit，CPU)负责。此外，神经网络中同一层的不同数据(输入特征值或输出特征值)以及不同层的相同数据(输入特征值或输出特征值)在定点化后的定点格式可能会不同，因此，可能还需要对数据的定点格式进行调整，当前技术中，由CPU负责对数据的定点格式作调整。

在神经网络计算过程中，CPU与神经网络加速装置之间交互数据的流程大致为：1)神经网络加速装置将处理的数据写入双倍速率同步动态随机存储器(Double Data Rate，DDR)；2)CPU从DDR读取需要处理的数据；3)CPU完成数据处理后将结果写入DDR；4)神经网络加速装置从DDR中获取CPU处理后的结果。

上述CPU处理数据的方案需要耗费较长的时间，会降低神经网络数据计算的效率。

发明内容

本申请提供一种神经网络加速装置与方法，可以有效提高神经网络数据计算的效率。

第一方面，提供一种神经网络加速装置，该装置包括：输入单元，用于获取输入特征值；计算单元，用于对该输入单元接收的该输入特征值进行计算处理，获得输出特征值；输出单元，用于在该计算单元获得的该输出特征值的定点格式与预设定点格式不同的情况下，按照该预设定点格式对该输出特征值进行低位移出和/或高位截断，获得目标输出特征值，该目标输出特征值的定点格式为该预设定点格式。

第二方面，提供一种用于神经网络的数据处理方法，该方法由神经网络加速装置执行，该方法包括：接收输入特征值；对该输入特征值进行计算处理，获得输出特征值；在该输出特征值的定点格式与预设定点格式不同的情况下，按照该预设定点格式对该输出特征值进行低位移出和/或高位截断，获得目标输出特征值，该目标输出特征值的定点格式为该预设定点格式。

第三方面，提供一种芯片，该芯片上集成有第一方面提供的神经网络加速装置。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被计算机执行时使得所述计算机实现第二方面或第二方面的任一可能的实现方式中的方法。

第五方面，提供一种包含指令的计算机程序产品，所述指令被计算机执行时使得所述计算机实现第二方面或第二方面的任一可能的实现方式中的方法。