[发明专利]一种基于忆阻器的DNN加速器的资源分配方法及装置

权利要求书

1.一种基于忆阻器的DNN加速器的资源分配方法，深度神经网络DNN为卷积神经网络或全连接神经网络，其包含卷积层和全连接层的总层数为N，N为正整数；用于加载深度神经网络DNN模型的基于忆阻器的DNN加速器包含有若干计算模块，其特征在于，所述资源分配方法包括以下步骤：

1)参数设置：初始化待映射DNN全精度模型中全部N个层的量化位宽，各层的量化位宽的初始值为该层所需的最小量化位宽；

2)数据采集：增加所述DNN模型中各层的量化位宽，使各层均不满足局部资源空闲条件，计算当仅向第i层增加1bit的量化位宽时，量化后的DNN模型对测试数据进行推理的准确度P_i，其中i＝1,2,...N；

3)资源分配：比较步骤2)中得到的各个准确度P_i，若准确度最大值唯一，则向对应最大准确度的层增加1bit的量化位宽，若准确度最大值不唯一，则向对应最大准确度且位置最靠近输入端的层增加1bit的量化位宽；

4)迭代分配：将步骤3)中重新分配量化位宽后的DNN模型返回步骤2)，重复步骤2)—3)，直到所述DNN模型的各层均不满足全局资源限制条件，输出所述DNN模型中各层的量化位宽，并映射到DNN加速器,完成DNN加速器的资源分配；

步骤2)中局部资源空闲条件为：

若将第i层的量化位宽加1bit，在此量化位宽设置下将第i层权重映射到DNN加速器上，第i层自身占用DNN加速器的计算模块数不增加，且第i层的量化位宽不超过允许的最大量化位宽，则第i层满足局部资源空闲条件；

步骤4)中全局资源限制条件为：

若将第i层的量化位宽加1bit，且其他层的量化位宽不变时，在此量化位宽设置下将DNN模型映射到加速器上，其DNN模型占用DNN加速器的计算模块数未超过DNN加速器可用计算模块的总数，且第i层的量化位宽不超过允许的最大量化位宽，则第i层满足全局资源限制条件；

所述DNN模型的权重按位排布采用同一阵列内相邻排布的方式，将DNN模型映射到忆阻器上第i层网络占用DNN加速器的计算模块数module_num_i为：

式(1)、(2)中，row_num_real_i是映射第i层网络所需交叉阵列的字线数，column_num_real_i是映射第i层网络所需交叉阵列的位线数，unit_num_i是映射第i层网络所需的计算单元数；n、m表示所述忆阻器交叉阵列单个阵列具有n条字线、m条位线及n×m个存储器元件，p表示单个计算模块包含计算单元的个数；

若该第i层为卷积层，映射第i层网络所需交叉阵列的字线数row_num_real_i和映射该层网络所需交叉阵列的位线数column_num_real_i计算公式如下：

row_num_real_i＝K_xi*K_yi*Cin_i (3)

式(3)、(4)中，K_xi和K_yi为第i层卷积核的宽和高，Cin_i为第i层卷积核的通道数，Cout_i为第i层卷积层中卷积核的个数，qbits_i是第i层权重的量化位宽，qbits_i-1是权重绝对值的位宽，cbits是单个忆阻器单元可表示的比特数，就是表示一个权重值需要的忆阻器单元数；

若第i层为全连接层，映射第i层网络所需交叉阵列的字线数row_num_real_i和映射第i层网络所需交叉阵列的位线数column_num_real_i计算公式如下：

row_num_real_i＝Cin_i (5)

式(5)、(6)中，Cin_i为全连接层的输入特征向量的长度，Cout_i为全连接层的输出特征向量的长度，qbits_i是第i层权重的量化位宽，qbits_i-1是权重绝对值的位宽，cbits是单个忆阻器单元可表示的比特数，就是表示一个权重值需要的忆阻器单元数。