[发明专利]用于在深度学习人工神经网络中对模拟神经存储器进行编程的方法和设备

说明书

本发明公开了与人工神经网络中的矢量‑矩阵乘法(VMM)阵列一起使用的编程系统和方法的许多实施方案。因此，可极精确地对所选单元进行编程，以保持N个不同值中的一个值。

优先权声明

本申请要求于2018年3月14日提交的标题为“Method and Apparatus forProgramming Analog Neuromorphic Memory in an Artificial Neural Network”的美国临时专利申请62/642,878和于2018年5月25日提交的标题为“Method And Apparatus ForProgramming Analog Neural Memory In A Deep Learning Artificial NeuralNetwork”的美国专利申请15/990,395的优先权。

技术领域

本发明公开了与人工神经网络中的矢量-矩阵乘法(VMM)阵列一起使用的编程设备和方法的许多实施方案。

背景技术

人工神经网络模拟生物神经网络(动物的中枢神经系统，特别是大脑)，这些人工神经网络用于估计或近似可取决于大量输入并且通常未知的功能。人工神经网络通常包括互相交换消息的互连“神经元”层。

图1示出了人工神经网络，其中圆圈表示神经元的输入或层。连接部(称为突触)用箭头表示，并且具有可以根据经验进行调整的数值权重。这使得神经网络适应于输入并且能够学习。通常，神经网络包括多个输入的层。通常存在神经元的一个或多个中间层，以及提供神经网络的输出的神经元的输出层。处于每一级别的神经元分别地或共同地根据从突触所接收的数据作出决定。

在开发用于高性能信息处理的人工神经网络方面的主要挑战中的一个挑战是缺乏足够的硬件技术。实际上，实际神经网络依赖于大量的突触，从而实现神经元之间的高连通性，即非常高的计算并行性。原则上，此类复杂性可通过数字超级计算机或专用图形处理单元集群来实现。然而，相比于生物网络，这些方法除了高成本之外，能量效率也很普通，生物网络主要由于其执行低精度的模拟计算而消耗更少的能量。CMOS模拟电路已被用于人工神经网络，但由于给定大量的神经元和突触，大多数CMOS实现的突触都过于庞大。

申请人先前在美国专利申请15/594,439中公开了一种利用一个或多个非易失性存储器阵列作为突触的人工(模拟)神经网络，该专利申请以引用方式并入本文。非易失性存储器阵列作为模拟神经形态存储器操作。神经网络装置包括被配置为接收第一多个输入并从其生成第一多个输出的第一多个突触，以及被配置为接收第一多个输出的第一多个神经元。第一多个突触包括多个存储器单元，其中存储器单元中的每个存储器单元包括：形成于半导体衬底中的间隔开的源极区和漏极区，其中沟道区在源极区和漏极区之间延伸；设置在沟道区的第一部分上方并且与所述第一部分绝缘的浮栅；以及设置在沟道区的第二部分上方并且与所述第二部分绝缘的非浮栅。多个存储器单元中的每一个被配置为存储与浮栅上的多个电子相对应的权重值。多个存储器单元被配置为将第一多个输入乘以所存储的权重值以生成第一多个输出。

必须擦除和编程在模拟神经形态存储器系统中使用的每个非易失性存储器单元，以在浮栅中保持非常特定且精确的电荷量。例如，每个浮栅必须保持N个不同值中的一个，其中N是可由每个单元指示的不同权重的数量。N的示例包括16、32和64。

VMM系统中的一个挑战是能够以不同N值所需的精度和粒度对所选单元进行编程。例如，如果所选单元可包括64个不同值中的一个值，则在编程操作中需要极端精度。

所需要的是适于与模拟神经形态存储器系统中的VMM一起使用的改进的编程系统和方法。

发明内容

本发明公开了与人工神经网络中的矢量-矩阵乘法(VMM)阵列一起使用的编程系统和方法的许多实施方案。因此，可极精确地对所选单元进行编程，以保持N个不同值中的一个值。

附图说明