[发明专利]一种基于忆阻器的DNN加速器的资源分配方法及装置

说明书

本发明公开了一种基于忆阻器的DNN加速器的资源分配方法及装置，资源分配方法包括以下步骤：初始化待映射深度神经网络DNN中各层的量化位宽；增加DNN中各层的量化位宽，使各层均不满足局部资源空闲条件；计算当且仅当向第i层增加1bit的量化位宽时，量化后的DNN模型对测试数据进行推理的准确度；通过准确度进行量化位宽的分配；通过全局资源限制条件终止迭代，输出DNN中各层的量化位宽，并映射到DNN加速器，完成DNN加速器的资源分配，本申请通过设置局部资源空闲条件、全局资源限制条件，不用先进行繁琐的测试集推理确定优先级的过程，减小了计算量，同时保证了采用此方法确定的DNN各层权重的量化位宽能够匹配给定的DNN加速器可用资源情况。

技术领域

本发明涉及一种DNN加速器的资源分配方法及装置，特别是一种基于忆阻器的DNN加速器的资源分配方法及装置。

背景技术

深度神经网络(Deep Neural Networks,DNN)技术已广泛应用到计算机视觉、语音识别等领域，并取得了突破性的成功；DNN中两种最常见的网络类型——卷积神经网络和全连接神经网络(如不特别指出，以下所述的DNN专指卷积神经网络和全连接神经网络这两类)的计算过程涉及到大量的乘累加操作，需进行大量的数据计算和数据移动操作，在传统冯诺依曼架构下，DNN模型的计算功耗和面积开销大、计算速度也受访存带宽的限制，对其在边缘设备上部署造成了困难；由于忆阻器低功耗、高存储密度、和存内计算的特性，尤其考虑到利用忆阻器构建的交叉阵列的电压电流关系与DNN乘累加的计算模式高度匹配，因而用忆阻器交叉阵列构建存算一体架构的DNN加速器(简称为：忆阻加速器)来在边缘设备上高效实现DNN的计算已成为一个热门的研究方向。

实现DNN加速计算的通用忆阻加速器，通常包含若干个由多个忆阻器交叉阵列和其他外围电路构成的计算模块。计算模块是完整包含了一层神经网络计算需要的所有功能(包括卷积或全连接要求的乘累加计算、激活函数、池化等)的最小单位。因此，映射时，DNN中的每一层会根据该层权重规模大小被映射到一个或多个计算模块中。

实现加速器对DNN模型的计算，需要将卷积层和全连接层的权重量化为定点数，并根据单个忆阻器单元可表示位数的多少，将表示权重的定点数按位映射到交叉阵列的一个或多个忆阻器单元上。然而由于DNN权重参数量巨大，若量化精度太高，则需要大量的忆阻器资源，或者说大量的计算模块，这会进一步增加加速器芯片面积和功耗；若量化精度太低，则会导致DNN性能退化甚至不可用。因此在忆阻加速器资源有限时,如何确定DNN各层权重的量化位宽来对DNN进行量化从而合理地利用忆阻加速器的资源以达到最优的性能，仍有待研究。

DNN量化常用的方法有全局量化法、分层量化法；全局量化法为网络的每一层分配相同的量化位宽，这种方法优点是量化位宽的搜索空间小，但这种方法未能考虑神经网络各层权重对量化位宽的敏感度不同的因素，某些层的精度冗余会造成忆阻器资源的浪费；分层量化法允许神经网络中不同的层有不同的量化位宽，这种方法优点在于进一步提高压缩率的同时还能保持模型精度，但分层量化会使得量化位宽的搜索空间大大增加。此外，以往的量化方法大都没有考虑忆阻器阵列的大小和忆阻加速器的结构，给出的量化方法未必能够匹配给定的忆阻加速器的计算模块和交叉阵列资源，在DNN算法实际部署时，仍会遇到问题。

发明内容

本发明的一个目的就是提供一种基于忆阻器的DNN加速器的资源分配方法，所述深度神经网络DNN为卷积神经网络或全连接神经网络，其包含卷积层和全连接层的总层数为N，N为正整数；所述用于加载深度神经网络DNN模型的基于忆阻器的DNN加速器包含有若干计算模块，它可以对基于忆阻器的DNN加速器的资源进行分配。

本发明的目的是通过这样的技术方案实现的，它包括有以下步骤：

1)参数设置：初始化待映射DNN全精度模型中全部N个层的量化位宽，各层的量化位宽的初始值为该层所需的最小量化位宽；