[发明专利]一种基于忆阻器内存计算的CNN处理装置及其工作方法

权利要求书

1.一种基于忆阻器内存计算的CNN处理装置，其特征在于：在一块ReRAM的每一个crossbar上添加算术逻辑单元ALU等辅助电路构成一个CNN处理单元，其中ALU用于完成CNN中激励层、池化层、归一化层等层次中的计算任务，包括全加、比较、移位等，整块ReRAM构成一个CNN处理单元阵列，其特征在于，在所述crossbar的每一条位线上均添加一个传输门，每一条位线连接到传输门的输入端，每一个传输门与一条位线一一对应，每一条位线对应的传输门的输出端与其所在crossbar的下侧相邻crossbar的相同位置的位线相连，所述ALU的输入端与其所在的crossbar中所有的传输门的输出端相连。

2.一种基于忆阻器内存计算的CNN处理装置的工作方法，其特征在于： ReRAM共有a×b个crossbar，构成一个a行b列的阵列，每个crossbar的字线的条数为L，位线的条数为n，CNN的卷积核阵列的大小为h×h，输入层包括c×d个神经元，共c行d列，其特征在于，包括以下步骤：

第一步，将每个crossbar的前m条字线所连接的存储单元构成一个m×n存储阵列，所有的crossbar的存储阵列构成CNN处理单元阵列的内存，内存中共有a×m×b×n个存储单元，其中共有a×m条字线，每条字线均是一行crossbar中相同位置的字线连接而成，构成一个a×m行b×n列的存储阵列，将crossbar中m×n存储阵列之外其他的存储空间作为该CNN处理单元的缓存，将CNN所要处理的输入层c×d个神经元按照其在输入层中的顺序存入CNN处理单元阵列的内存中，在内存中占据了e行f列个存储单元，构成一个e×f神经元阵列，有e条字线和f条位线；

第二步，将卷积核阵列的第一列h1作为输入信号，连接到CNN处理单元阵列中e×f神经元阵列的字线上，具体连接方式为h1的每个权重按照顺序从上到下依次连接到e×f神经元阵列中的一条字线上，即在e×f神经元阵列中的第1行开始到第h行的字线上依次连接h1的权重，第h+1行到第2h行的字线上同样依次连接h1的权重数值信号，依次类推，直至第⌊e÷h⌋×h-h+1行到第⌊e÷h ⌋×h行的字线上同样依次连接h1的权重，共需要连接⌊e÷h ⌋组h1信号，对应的将e×f神经元阵列分出了⌊e÷h ⌋组神经元，记为H1、H2、……、H⌊e÷h ⌋，其中H1是第1行到第h行，H2是第h+1行到第2h行，依此类推，直到第⌊e÷h ⌋×h行，每组神经元分别连接一组h1，其中⌊e÷h ⌋是e÷h向下取整；

第三步，将连接的h1信号激活，即输入h1的权重数值到其连接的字线上，收取激活每一组h1后第1条到第f-h+1条位线上的结果数据，具体方法是，使每个crossbar每次只激活一组h1中的信号，对应其连接的H1、H2、……、H⌊e÷h ⌋中的一组神经元，所有的crossbar同时进行激活，若一个crossbar的字线连接了两组及两组以上的h1信号，则依次激活该crossbar连接的各组h1信号并收取结果数据，若上下相邻的两个crossbar连接了同一组h1信号，则两个crossbar之间的传输门打开，使所述两个crossbar共同激活该组h1信号，否则，传输门关闭；

第四步，将激活每一组h1后第1条到第f-h+1条位线上的结果数据，分别依次存储在第2条到第f-h+2条位线在该组h1信号所连接最后一条字线所在crossbar的缓存中，其存储方法是，同一组h1信号的结果数据所在的存储单元由同一条字线相连，即一组h1的f-h+1个结果数据依次存储在地址坐标为（g,2）、（g,3）、（g,4）、……、（g,f-h+2）的一组存储单元上，该组存储单元都由字线g连接，共有⌊e÷h ⌋组结果数据，分别对应H1、H2、……、H⌊e÷h ⌋；

第五步，将输入信号由h1信号换成卷积核阵列的第二列h2信号，重复第二步的步骤；

第六步，按照第三步的方法将连接的h2信号激活，同时，在激活H1、H2、……、H⌊e÷h ⌋中一组神经元所连接的一组h2的同时，将逻辑1信号输入到该组神经元所对应的结果数据所存储在的字线上，收取激活每一组h2后第2条到第f-h+2条位线上的结果数据；

第七步，将激活每一组h2后第2条到第f-h+2条位线上的结果数据，分别依次存储在第3条到第f-h+3条位线在该组h2信号所连接最后一条字线所在crossbar的缓存中，其存储方法是，同一组h2信号的结果数据所在的存储单元由同一条字线相连，即一组h2的f-h+1个结果数据依次存储在地址坐标为（g,3）、（g,4）、（g,5）、……、（g,f-h+3）的一组存储单元上；

第八步，依此类推，将输入信号由h2信号换成卷积核阵列的第三列h3信号，重复第五步、第六步和第七步，并继续依此类推，将输入信号依此换成h4、h5、……，直至换成hh，在执行完第五步和第六步后，将激活每一组hh后第h条到第f条位线上的结果数据依此输出，即为卷积层输出的第1行、第h+1行、第2h+1行、……、第(⌊e÷h ⌋-1)×h+1行神经元，每行有f-h+1个神经元，共⌊e÷h ⌋×h行；

第九步，将第二步中的第1行开始改成从第2行开始，将第2行到第h+1行、第h+2行到第2h+1行的字线上依此连接h1的权重数值信号，依此类推，需要连接的⌊e÷h ⌋组h1信号，对应的H1、H2、……、H⌊e÷h ⌋，其中H1是第2行到第h+1行，H2是第h+2行到第2h+1行，以此类推，直到第⌊e÷h ⌋×h+1行；

第十步，重复第三到八步，即得到卷积层输出的第2行、第h+2行、第2h+2行、……、第(⌊e÷h ⌋-1)×h+2行神经元，每行有f-h+1个神经元，共⌊e÷h ⌋×h行；

第十一步，以此类推，依次从第3行、第4行、……、第h-1行、第h行开始，重复第二到八步，即依次分别得到卷积层输出的第3行、第h+3行、第2h+3行、……、第(⌊e÷h ⌋-1)×h+3行神经元，第4行、第h+4行、第2h+4行、……、第(⌊e÷h⌋-1)×h+4行神经元，依次类推至第h-1行、第2h-1行、第3h-1行、……、第⌊e÷h ⌋×h-1行神经元，第h行、第2h行、第3h行、……、第⌊e÷h ⌋×h行神经元；

第十二步，将得到的所有卷积层输出的神经元依次存入所述的CNN处理单元阵列，通过每个CNN处理单元中crossbar连接的ALU完成CNN的激励层运算和池化层运算，并按照上述步骤重复完成卷积层、激励层和池化层运算，直至到全连接层；

第十三步，在全连接层，每一个全连接层神经元对应一组权重，将全连接层的输入神经元依次存入所述CNN处理单元阵列的第一列存储单元中，将一组权重按与输入神经元的一一对应关系输入到所述CNN处理单元阵列的字线中，即在第一条位线上得到该组权重对应的全连接层神经元，依次重复本步骤，即可得到全连接层的所有神经元，进而输出CNN的处理结果。

3.根据权利要求2所述的一种基于忆阻器内存计算的CNN处理装置的工作方法，其特征在于：若c≤a×m且d≤b×n，则e=c且f=d，输入层c×d个神经元可在CNN处理单元阵列中一次完成处理；

若c≤a×m且d＞b×n，则e=c且f=b×n，则将输入层c×d个神经元的第1列到第f列先存入CNN处理单元阵列中进行处理，再将第f-h+2列到第2f-h+1列存入CNN处理单元阵列中进行处理，依次类推，直至处理完整个输入层；

若c＞a×m且d≤b×n，则e=a×m且f=d，则将输入层c×d个神经元的第一行到第e行先存入CNN处理单元阵列中进行处理，再将第e-h+2行到第2e-h+1行存入CNN处理单元阵列中进行处理，依次类推，直至处理完整个输入层；

若c＞a×m且d＞b×n，则e=a×m且f=b×n，则先将输入层c×d个神经元的左上角的前e行的第1到第f列的e×d个数据存入CNN处理单元阵列中进行处理，再将前e行的第f-h+2列到第2f-h+1列的数据存入CNN处理单元阵列中进行处理，依此类推，直至处理完前e行的所有数据，再将第e-h+2行到第2e-h+1行的第1到第f列的e×d个数据存入CNN处理单元阵列中进行处理，并按上述步骤依此类推，直至处理完第e-h+2行到第2e-h+1行的所有数据，然后再按上述步骤处理完第2e-2h+3行到第3e-2h+2行的所有数据，以此类推，直至处理完整个输入层。