[发明专利]可扩展的定点数矩阵乘加运算的存内计算设备和方法

说明书

本发明提供一种基于存储单元的、可扩展的、用于定点数矩阵乘加运算的存内计算设备，其特征在于，包括：数据调度模块，用于将输入的多比特定点数矩阵转换为多个单比特脉冲信号；运算阵列，由M行M列的存储单元构成；辅助运算模块，至少包括低比特模数转换模块、移位加法模块以及数字减法器；列译码器；以及控制模块，存储有配置信息，用于根据配置信息向数据调度模块、列译码器以及辅助运算模块发送配置信号从而适应不同位宽的数据运算。

技术领域

本发明属于信息技术领域，具体涉及一种可扩展的定点数矩阵乘加运算的存内计算设备和方法。

背景技术

随着大数据时代的带来，人们对数据运算的速度要求和功耗要求越来越高。现有的基于CMOS的数字计算方法很难满足超大并行度和低功耗的运算要求。

人们对大规模并行计算和低功耗运算的追求，促进了对存储器内计算的研究。基于存储器内的运算采用非冯诺依曼结构，减少了存储器与运算器之间的数据传输，从而减小了运算功耗；此外，该结构可以借助存储器的电路结构，可以实现大规模的并行运算，满足人们对高运算并行度和低功耗的追求。

按照计算方式分类，现有存储器乘加运算技术可以分为两类：

第一类架构使用存储器单元实现最简单的逻辑运算，然后通过存储器逻辑运算实现数字计算功能处理。以色列理工学院的研究小组提出了一种基于SRAM的乘加运算结构，该电路首先通过三个SRAM单元实现单个NOR（或非）逻辑运算，然后通过NOR逻辑实现多比特数据的乘加运算。该方法是对传统CMOS运算的一种改进，运算精确度较高，但是运算操作复杂，需要用1500个周期才能实现一个乘法运算，而且不便于实现大规模并行计算。此外，密歇根大学的科研小组也提出了一种基于静态随机存取存储器(SRAM)的存储计算处理器。该电路通过两个SRAM单元实现了逻辑与门（SRAM与门），进而实现32bit的浮点数运算。该方法精确度较高，但是实现单次运算需要4978个周期，运算速度较低。

第二类存储计算架构主要利用存储阵列的结构实现模拟乘加运算。某大学的科研小组在2018年和2019年分别提出了两种基于RRAM存储器的用于3*3卷积的模拟乘加运算的电路结构（参见A 65nm 1Mb Nonvolatile Computing-in-Memory ReRAM Macro with Sub-16ns Multiply-and-Accumulate for Binary DNN AI Edge Processors，ISSCC 2018；以及A 1Mb Multibit ReRAM Computing-In-Memory Macro with 14.6ns Parallel MACComputing Time forCNN-Based AI Edge Processors，ISSCC 2019）。该小组提出的两种电路结构基本相同。首先，该结构通过将大部分或者全部权重存入非挥发存储器，避免了传统多层存储器结构的数据访问而导致的延迟，此外，该电路通过将多个输入数据同时输入存储阵列，将多个乘加运算缩短至一个时钟周期，提高了计算并行度。但是，该小组提出的两个电路结构都存在数据精度不足的问题，2018年提出的电路只能实现1bit数据之间的乘加运算，2019年提出的电路方案也仅能实现2bits数据之间的乘加运算。而低比特数据乘加运算的应用范围极其有限，不具有通用性。此外，该电路的模拟运算精度较低，具体表现为：1.没有明确解决模拟运算中存在的电流非线性问题；2.用于正负权重相减的减法器精度不足。数据的低位宽和模拟运算的低精度限制了该电路的应用。除了基于RRAM的模拟运算电路，该小组还在2019年提出了基于SRAM的模拟运算电路，该电路通过调整WL(wiresource)的模拟电压实现4bits数据的输入。但是，由于WL电压与SRAM电流的非线性关系，该方法的运算精度较低，且不便于进行更高比特数据的扩展。