[发明专利]面向参数量化神经网络专用处理器实现高精度计算的方法

说明书

本发明属于神经网络技术领域，涉及一种面向参数量化神经网络专用处理器实现高精度计算的方法。该方法在量化神经网络专用处理器的基础上，根据期望精度与每个权值存储单元精度的比值，将每位突触输入位数扩展。选择一种能够表达期望精度的编码方式，对扩展后的每路输入按照编码方式赋予权重，并根据每路输入按所赋权重与最低位权重的商对其编码，编码形式为与商相同的脉冲数或脉冲大小。随后对权重矩阵存储单元进行编码，使各带权输入与权重矩阵存储单元编码相乘的结果，此时计算参数位数得到扩展。参数位数扩展后的神经网络在保持神经网络参数存储空间较少、功耗低的基础上，有效提高了运算精度，可以实现高精度计算。

技术领域

本发明属于神经网络技术领域，涉及一种面向参数量化神经网络专用处理器实现高精度计算的方法。

背景技术

人工神经网络(简称ANN)是一种根据对人脑结构和工作机理模拟的网络结构。ANN包含若干神经元，神经元之间的连接有向带权重，网络可以通过对信息数据的学习训练，改变神经元间的连接权重，从而得到特定的从输入到输出间的关系，以此来处理信息。

现有的神经形态硬件需要存储与神经网络中神经元数量相同的参数，以及与神经网络中相互连接数相同的参数才可以进行计算操作，当需要实现复杂功能时，需要大规模的神经网络。随着神经网络规模的扩展，所需要存储的数据量会越来越大，需要消耗大量的存储资源才能储存神经网络的各种参数，同时，随着存储数据量的变大，神经网络计算速度也会受其影响下降。

已有的技术可以通过参数量化等手段，使神经网络参数量化。方式为根据神经网络结构和任务类型及具体指标要求，选取区间，将参数量化到一个区间内，实现神经网络参数的大量压缩。压缩后的神经网络参数可以存储在参数量化神经网络专用处理器的参数矩阵内，权值存储单元通常为可以存储若干位权重参数的SRAM或其他存储模块。从每位突触输入量化神经网络专用处理器后，将会经过多个权值存储单元，同时与经过的每个权值存储单元内的权重参数进行运算，最终输出，完成量化神经网络的计算。量化神经网络专用处理器节约了数据存储空间、运算功耗，提升了运算速度。

由于参数量化后的量化神经网络专用处理器每个权值存储单元所存参数位数有限，量化神经网络专用处理器的计算精度下降。需要一种技术克服现有技术中的不足，期望在保持量化神经网络专用处理器低功耗、节约存储空间的同时，实现更高的计算精度，本实例就是从此需求出发。

发明内容

为了解决现有技术的问题，本发明提供了一种面向参数量化神经网络专用处理器实现高精度计算的方法。所述技术方案如下：

本发明实例提供了一种面向参数量化神经网络专用处理器实现高精度计算的方法，包括以下步骤：

获取训练完成后的神经网络参数，主要参数包含权重等。利用神经网络常用的随机梯度下降等方法训练神经网络，在满足指标要求后(如识别精度)完成训练，从而获得训练完成的神经网络，获得训练好的神经网络突触权值，将权值存储于量化神经网络专用处理器各个权值存储单元上。

进一步，根据神经网络计算期望获得的精度、量化神经网络专用处理器每个权值单元精度，确定每位突触权值在量化神经网络上映射时所需的输入路数、突触权值存储单元个数。每个原输入都扩展为N路,N为期望精度与量化神经网络专用处理器每个权值单元精度的商向上取整；每个原突触权值存储单元在输入路数扩展后，需要变为与扩展路数N相同的个数。量化神经网络专用处理器中所需的输入总路数为扩展路数N乘以原输入路数，量化神经网络专用处理器中所需的权值单元个数为扩展输入路数N乘以原权值单元个数。

进一步，确定计算参数的编码方式(包括但不限于二进制编码等权重码)，并根据所选取编码方式分别对每路输入赋予权重，每路的权重与编码方式相关(如二进制编码，则每路的权重分别为2N，N为包含0到扩展输入路数N之间的自然数)。