[发明专利]一种针对量化后的LSTM的激活函数计算单元

说明书

本发明涉及一种针对量化后的LSTM的激活函数计算单元，其特征在于，包括：sigmoid函数计算单元和tanh函数计算单元；所述tanh函数计算单元包括第一求补码单元、第二求补码单元、幅度比较器、算术运算单元、第一选择器和第二选择器。本发明提供的针对量化后的LSTM的激活函数计算单元，针对LSTM网络的操作数被量化后，根据其网络精度、噪声容限以及线性函数中的偏置系数对操作数的位宽需求确定激活函数计算单元的操作数位宽。针对8 bits位宽的操作数，确定用于近似激活函数的线性函数表达式。针对线性函数表达式设计对应的计算单元。利用booth算法，使用简单的移位相加快速计算系数固定的乘法。

技术领域

本发明涉及一种针对量化后的LSTM的激活函数计算单元，属于集成电路设计技术领域。

背景技术

近年来，深度学习算法凭借其优异的性能开始替代传统的算法成为多个领域的主流算法。但当前主流的处理器(CPU、GPU、DSP等)还无法较好地适配其数据密集型的计算特点，因此学界以及工业界掀起了一波深度学习处理器的研究热潮。

深度学习算法中重要的一类算法——LSTM(Long Short-Term Memory)，因为能够有效解决梯度消失的问题，正替代传统的RNN(Recurrent Neural Network)广泛应用在对序列数据进行处理的场景，如自然语言处理、语音识别等。但LSTM中所使用的激活函数:因为涉及到复杂的指数、除法运算，所以硬件直接实现具备非常大的复杂度。因此需要一个更加高效、硬件友好的实现方案。

在现有的解决方案中，利用查找表来计算这两种激活函数是一种比较常用的方法。其原理是通过对输入数据在输入区间进行等间隔采样，然后分别计算出这些输入值对应的输出值，然后将它们存储在存储器中。等实际工作时，通过线性插值，将输入数据与采样点对应起来，然后再从存储器中取出之前计算好的对应的输出值。该方法虽然能够避免复杂的计算，降低硬件复杂度，但其缺点也是相当明显的。为了实现较高的计算精度，就需要尽可能多地采样，从而导致需要的存储资源大幅增加。而存储资源的增加造成的直接影响就是芯片面积增加以及因为频繁的数据访存带来的功耗的增加。

使用曲线拟合来计算这两种激活函数也是一种比较常用的方法。其原理是通过拟合的方法得出一个多项式函数，利用该函数来计算激活值。该方法只需要乘法以及加减法而不需要更复杂的指数运算以及除法运算。但该方法通常需要计算多次乘法，仍具有一定的复杂度。

经观察发现，这两个激活函数在各个分区间具备较好的线性性质，可以分段使用线性函数对这两个激活函数进行近似。尽管先前已经有工作使用分段线性近似的方法来计算这两个激活函数，但这些工作没有考虑LSTM的操作数被量化后的特点。

线性量化是用的比较多的一种网络压缩方法，其原理如下列公式所示：

k为量化后的操作数位宽。可见，操作数经线性量化后，取值范围被限定在一个特定的区间：而现有的利用分段线性近似计算激活函数的解决方案中，输入操作数的取值范围为全体实数，显然会造成分段数过多、硬件复杂度过高、资源浪费的情况。另一方面还要考虑量化后的操作数的位宽与网络精度的关系，从而确定激活函数计算单元的操作数位宽以及用来近似激活函数的线性函数的系数的位宽。还有一点，分段线性近似激活函数存在一定的近似误差，会对网络精度带来影响。而线性量化操作可以为系统提高一部分噪声容限，从而在一定程度上抑制近似误差。线性量化操作所引入的噪声容限x_NM与操作数位宽k紧密相关，其关系如以下公式所示：

综上，激活函数计算单元的设计要综合考虑硬件复杂度、网络精度、以及系统对近似误差的抑制能力这三个方面，谨慎设计线性函数的系数。

发明内容

本发明要解决技术问题是：克服上述技术的缺点，提供一种针对量化后的LSTM的激活函数计算单元。