[发明专利]用于利用脉冲神经网络的相位差来改变突触权重的设备、系统和方法

说明书

本申请公开了用于确定与脉冲神经网络的突触相关联的权重的值的技术和机制。在实施例中，第一脉冲序列和第二脉冲序列分别由脉冲神经网络的第一节点和第二节点输出，其中突触耦合于所述节点之间。权重被应用于经由突触传送的信令。权重的值基于第一值和第二值的乘积被更新，其中第一值基于第一脉冲序列的第一脉冲速率，并且第二值基于第二脉冲序列的第二脉冲速率。在另一实施例中，权重基于第一脉冲速率的导数和第二脉冲速率的导数的乘积被更新。

背景技术

本文所描述的实施例总地涉及脉冲神经网络(spiking neural network)，并且更具体地但非排他地涉及用于确定突触权重(synaptic weight)值的技术。

目前，多种方式被用于在计算系统中实现神经网络。此类神经网络(通常称为“人工神经网络”)的实施方式一般包括大量的高度互连处理元件，这些处理元件表现出与大脑类似的一些行为。此类处理元件可以用专用硬件、软件建模或两者的组合来实现。

脉冲神经网络(或“SNN”)正越来越多地被适配用于为各种应用提供新一代解决方案。SNN以各种方式依赖于信令技术，其中利用信号脉冲(signal spike)之间的基于时间的关系来传达信息。相比于典型的深度学习架构(诸如利用卷积神经网络(CNN)或回归神经网络(RNN)所提供的那些架构)，SNN提供了通信的经济性，这进而允许实现功率效率的数量级改进。

神经网络被配置为实现“学习”的特征，该“学习”一般被用于调整处理元件之间的相应连接的权重，这些连接提供神经网络内的特定路径并且提供处理成果。用于实现神经网络中的学习的现有方式已涉及无监督学习(例如，用于从未分类训练数据推断可能解决方案的技术，诸如通过群集或异常检测)、有监督学习(例如，用于从经分类训练数据推断可能解决方案的技术)和加强学习(例如，用于基于最大化回报来识别可能解决方案的技术)的各种方面。然而，这些学习技术中的每一者实现起来都是复杂的，并且通常需要昂贵的监督或验证以确保神经网络中所引起的改变的准确性。

附图说明

本发明的各种实施例在附图的多个图中通过示例的方式而非通过限制的方式被示出，其中：

图1示出了分别图示根据实施例的简化神经网络的特征的图。

图2是图示根据实施例的在脉冲神经网络处用于确定突触权重的值的方法的元素的流程图。

图3A和图3B示出了以各种方式图示根据实施例的用于确定突触权重的值的信号和参数的相应值的时序图。

图4是图示根据实施例的用于利用脉冲神经网络提供图像识别功能的系统的元素的功能框图。

图5示出了图示根据实施例的用于确定突触权重的值的脉冲神经网络的状态转变的时序图。

图6是图示根据一个实施例的计算设备的功能框图。

图7是图示根据一个实施例的示例性计算机系统的功能框图。

具体实施例

本文所描述的实施例以各种方式提供用于更新或以其它方式确定脉冲神经网络的一个或多个突触权重的相应值的技术和机制。此类确定(例如，基于脉冲序列(spiketrain)的相应脉冲速率之间的关系)可辅助实现脉冲神经网络作为自动编码器的操作。脉冲神经网络可作用为“自动编码器”，其中基于不同基准图案的训练包括脉冲神经网络的一些或所有节点(或“神经元”)，这些节点各自用所呈现图案的相应部分对其对应的相应字段进行编码。自动编码器在许多应用中提供关键功能，在这些应用中，由于带标记数据组是有限的或者缺乏的，无监督学习为可用的唯一选项。甚至在有监督学习的一些情况下，自动编码器可用于预训练过程以初始化突触权重。