[发明专利]具有交叉式阵列结构的神经形态设备

说明书

提供了神经形态方法、系统和设备(10、11、12)。实施例可包括神经形态设备(10、11、12)，其可包括交叉式阵列结构(110)和模拟电路。该交叉式阵列结构(110)可以包括经由N×M个电子设备(131、132、32a、132b、132c)在联结处互连的N个输入线(111、112)和M个输出线(120)，在优选实施例中，电子设备各自包括忆阻设备。输入线可包括N₁个第一输入线(111)和N₂个第二输入线(112)。第一输入线(111)可以经由所述电子设备(131、132)的N₁×M个第一设备(131、132)连接至M个输出线(120)。类似地，第二输入线(112)可以经由所述电子设备(131、132)的N₂×M个第二设备(132)连接至M个输出线(120)。模拟电路(140、150、160、170)可被配置为编程电子设备(131、132)，使得第一设备(131)存储突触权重，并且第二设备(132)存储神经元状态。

背景技术

本发明总体上涉及具有交叉式阵列结构(crossbar array structure)的神经形态设备的领域。特别地，本发明涉及一种神经形态设备，其交叉式阵列结构包括附加输入线以存储神经网络的神经元状态，由此神经元功能至少部分地由该设备的模拟电路来实现。

机器学习通常依赖于人工神经网络(ANN)，ANN是由人类或动物脑中的生物神经网络启发的计算模型。这样的系统通过示例渐进地和自主地学习任务；它们已经被成功地应用于例如语音识别、文本处理和计算机视觉。

ANN包括一组连接的单元或节点，这些单元或节点与动物脑中的生物神经元相比较并且因此被称为人工神经元。类似于突触，信号沿着人工神经元之间的连接(也称为边缘)传送。即，接收信号的人工神经元处理它并随后发信号通知连接的神经元。通常，沿着此类连接传送的信号是模拟实数，并且人工神经元的输出由于其输入总和的非线性函数而被计算。

连接权重(也称为突触权重)与连接和节点相关联；这样的权重随着学习的进行而调整。每个神经元可以具有若干输入，并且连接权重被赋予每个输入(该特定连接的权重)。这样的连接权重在训练阶段期间被学习并由此被更新。学习过程是迭代的：将数据情况呈现给网络，通常一次一个，并且在每个时间步长调整与输入值相关联的权重。

许多类型的神经网络是已知的，从前馈神经网络开始，诸如多层感知器、深度神经网络和卷积神经网络。此外，出现了新类型的神经网络，诸如尖峰神经网络。尖峰神经网络(spiking neural network，SNN)基本上不同于通常的神经网络，因为SNN使用尖峰来操作，尖峰是可以在任何时间点异步发生的离散二进制事件，而不是以规则的时间步长计算的模拟值。即，除了神经元和突触状态之外，SNN还结合时间的概念。即，神经元仅在膜电位达到特定值时激发(fire)，而不是如在例如多层感知器网络中那样在每个传播周期激发。在SNN的上下文中，激发意味着神经元生成到达其他神经元的信号，其他神经元进而根据它们从其他神经元接收的信号来增加或降低它们的电位。

神经网络通常在软件中实现。然而，神经网络也可在硬件中实现，例如作为电阻处理单元(依赖于交叉式阵列结构)或光学神经元形态系统。即，硬件实现的ANN是明显不同于经典计算机(通用或专用计算机)的物理机器，因为它主要并且专门设计成实现ANN(用于训练和/或推断目的)。硬件实现的ANN可以至多用经典计算机来仿真(尽管不是以相同效率)，同时它不能像经典计算机那样执行多个数据处理任务。

以下论文构成背景技术的一部分：

Nandakumar,S.R.,et al.A phase-change memory model for neuromorphiccomputing.J.Appl.Phys.,vol.124,no.15,21Oct.2018,p.152135；

Tuma,T.,et al.Stochastic phase-change neurons.Nat.Nanotechnol,vol.11,16May.2016,pp.693-699。