[发明专利]在NAND存储器阵列中实现具有三值输入和二值权重的神经网络

说明书

本发明题为“在NAND存储器阵列中实现具有三值输入和二值权重的神经网络”。本发明提供了使用NAND阵列架构来实现二值神经网络(BNN)允许在存储器阵列内执行矩阵乘法和累加。用于存储BNN的权重的单位突触存储在一对串联连接的存储器单元中。在连接到该单位突触的一对字线上应用二值输入作为电压值的模式，以通过确定该单位突触是否导通来执行该输入与该权重的乘法。此类乘法的结果由读出放大器确定，其中结果由计数器累加。该布置可以扩展到三值输入以通过添加电路来检测0输入值并相应地调整累加计数来实现三值‑二值网络(TBN)。

相关申请的交叉引用

本申请涉及2018年7月24日提交的美国临时申请号62/702,713，并且涉及与本申请同时提交的题目为“Realization of Binary Neural Networks in NAND MemoryArrays(在NAND存储器阵列中实现二值神经网络)”的申请，该两个申请都以引用方式并入本文。

背景技术

人工神经网络越来越多地用于人工智能和机器学习应用。在人工神经网络中，输入集通过一个或多个中间或隐藏层传播以生成输出。将输入连接到输出的层通过权重集连接，权重集在训练或学习阶段中通过确定数学运算集合以将输入转换为输出，在计算每个输出的概率的层中移动来生成。一旦建立了权重，就可以在推断阶段使用它们来根据输入集确定输出。虽然这种神经网络可以提供高度准确的结果，但它们在计算方面是非常密集的，并且读取将不同层连接到存储器之外的权重并将它们传递到处理单元的各处理单元中所涉及的数据传递可能非常密集。

附图说明

相同编号的元件是指不同图中的共同部件。

图1是连接到主机的存储器系统的一个实施方案的框图。

图2是前端处理器电路的一个实施方案的框图。在一些实施方案中，前端处理器电路是控制器的一部分。

图3是后端处理器电路的一个实施方案的框图。在一些实施方案中，后端处理器电路是控制器的一部分。

图4是存储器封装的一个实施方案的框图。

图5是存储器管芯的一个实施方案的框图。

图6示出了人工神经网络的简单示例。

图7A是描述用于训练神经网络以生成权重集的过程的一个实施方案的流程图。

图7B是描述使用神经网络进行推断的过程的一个实施方案的流程图。

图8是在神经网络中使用矩阵乘法的示意图。

图9是示出响应于不同输入-权重组合的二值神经网络的输出的表。

图10示出了用于在一对串联连接的存储器单元中存储二值权重的单位突触单元的实施方案。

图11示出了用于在二值或单级单元(SLC)存储器上存储数据状态的阈值电压的分布。

图12和图13示出了使用一对串联连接的SLC存储器单元作为单位突触来实现二值神经网络的实施方案。

图14和图15分别对应于图12和图13，其被扩展为包括用于实现三值输入的“0”输入逻辑值。

图16示出了将单位突触合并到NAND阵列中。

图17和图18考虑了用于二值神经网络代数的点积的计算的示例，以及如何使用基于计数器的求和数字电路来实现这一点以用于SLC NAND二值神经网络(BNN)实施方案。

图19是推断中使用二值神经网络的点积计算的一个实施方案的流程图。

图20和图21考虑了扩展点积计算以用于三值-二值神经网络的示例，以及如何使用基于计数器的求和数字电路来实现这一点以用于SLC NAND三值-二值网络(TBN)实施方案。