[发明专利]用于深度学习人工神经网络中的模拟神经存储器的功率管理

说明书

本发明公开了用于各种操作的功率管理技术的多个实施方案，这些操作涉及人工神经网络内的一个或多个矢量‑矩阵乘法(VMM)阵列。

优先权声明

本申请要求于2019年3月6日提交的名称为“System for Converting NeuronCurrent Into Neuron Current-Based Time Pulses in an Analog Neural Memory in aDeep Learning Artiecular Neural Network”的美国临时申请62/814,813、于2019年1月18日提交的名称为“System for Converting Neuron Current Into Neuron Current-Based Time Pulses in an Analog Neural Memory in a Deep Learning ArtificialNeural Network”的美国临时申请62/794,492以及于2019年3月14日提交的名称为“PowerManagement For An Analog Neural Memory In A Deep Learning Artificial NeuralNetwork”的美国专利申请16/354,040的优先权。

技术领域

本发明公开了用于各种操作的功率管理技术的多个实施方案，这些操作涉及人工神经网络内的一个或多个矢量-矩阵乘法(VMM)阵列。

背景技术

人工神经网络模拟生物神经网络(动物的中枢神经系统，特别是大脑)，并且用于估计或近似可取决于大量输入并且通常未知的函数。人工神经网络通常包括互相交换消息的互连“神经元”层。

图1示出了人工神经网络，其中圆圈表示神经元的输入或层。连接部(称为突触)用箭头表示，并且具有可以根据经验进行调整的数值权重。这使得神经网络适应于输入并且能够学习。通常，神经网络包括多个输入的层。通常存在神经元的一个或多个中间层，以及提供神经网络的输出的神经元的输出层。处于每一级别的神经元分别地或共同地根据从突触所接收的数据作出决定。

在开发用于高性能信息处理的人工神经网络方面的主要挑战中的一个挑战是缺乏足够的硬件技术。实际上，实际神经网络依赖于大量的突触，从而实现神经元之间的高连通性，即非常高的计算并行性。原则上，此类复杂性可通过数字超级计算机或专用图形处理单元集群来实现。然而，相比于生物网络，这些方法除了高成本之外，能量效率也很普通，生物网络主要由于其执行低精度的模拟计算而消耗更少的能量。CMOS模拟电路已被用于人工神经网络，但由于需要大量神经元和突触，大多数CMOS实现的突触都过于庞大。

申请人先前在美国专利申请15/594,439(公开为美国专利公布2017/0337466)中公开了一种利用一个或多个非易失性存储器阵列作为突触的人工(模拟)神经网络，该专利申请以引用方式并入本文。非易失性存储器阵列作为模拟神经形态存储器操作。神经网络设备包括被配置成接收第一多个输入并从其生成第一多个输出的第一多个突触，以及被配置成接收第一多个输出的第一多个神经元。第一多个突触包括多个存储器单元，其中存储器单元中的每个存储器单元包括：形成于半导体衬底中的间隔开的源极区和漏极区，其中沟道区在源极区和漏极区之间延伸；设置在沟道区的第一部分上方并且与第一部分绝缘的浮栅；以及设置在沟道区的第二部分上方并且与第二部分绝缘的非浮栅。多个存储器单元中的每个存储器单元被配置成存储与浮栅上的多个电子相对应的权重值。多个存储器单元被配置成将第一多个输入乘以所存储的权重值以生成第一多个输出。

必须擦除和编程在模拟神经形态存储器系统中使用的每个非易失性存储器单元，以在浮栅中保持非常特定且精确的电荷量(即电子数量)。例如，每个浮栅必须保持N个不同值中的一个，其中N是可由每个单元指示的不同权重的数量。N的示例包括16、32、64、128和256。

利用VMM阵列的系统中的一个挑战是使在发生的许多编程、擦除和读取操作期间消耗的功率量尽量减小，这些功率消耗可能相当大。