[发明专利]用于奖赏调节的锋电位时序依赖可塑性的方法和系统

说明书

技术领域

本公开的一些实施方式总体上涉及神经系统工程，尤其涉及用于奖赏（reward）调节的锋电位时序依赖可塑性（spike-timing-dependent plasticity，STDP）的硬件实现的方法。

背景技术

奖赏调节的锋电位时序依赖可塑性（STDP）被认为是用于解释锋电位神经元网络中的行为相关的权重变化的学习规则的强候选。该方案需要针对每个突触来以若干秒的时间常数指数衰减合格迹线（eligibility trace）。由于感兴趣的神经网络经常具有几百万个突触，所以针对每个突触来实现对合格迹线的这种指数衰减在硅片面积方面会是很昂贵的。

在硬件中直接实现合格迹线能够将模拟或数字电路放置在每个突触中，以创建指数时间常数。这种解决方案可能要求每个突触几百平方微米的面积。因此，需要奖赏调节的STDP的节省面积的实现方式。

发明内容

本公开的某些实施方式提供了神经电子电路。该电子电路总体上包括多个神经元电路和突触，其中，每个突触连接一对神经元电路，以及存储突触的权重的第一存储器，存储相同的权重的第二存储器和包括用于每个突触的一个元件的第三存储器，其中：如果一对神经元电路进行锋电位发放，则在第二存储器中更新连接那对神经元电路的突触的权重并且将第三存储器的与那个突触相关联的元件从第一逻辑状态转换到第二逻辑状态；所述第三存储器的所有处于所述第二逻辑状态的元件以定义的频率以一定几率转换到所述第一逻辑状态；当奖赏出现时，如果所述元件处于第二逻辑状态，则将突触的更新后的权重从第二存储器复制到第一存储器；以及如果所述元件处于第一逻辑状态，则将突触的权重从第一存储器复制到第二存储器以重写更新后的权重。

本公开的某些实施方式提供一种用于实现神经系统的方法，该神经系统具有多个神经元电路和突触，其中每个突触连接一对神经元电路。该方法总体上包括：在神经系统的第一存储器中和第二存储器中存储突触的权重，其中神经系统的第三存储器包括用于每个突触的一个元件；如果一对神经元电路进行锋电位发放，则在第二存储器中更新连接那对神经元电路的突触的权重，并将第三存储器的与那个突触相关联的元件从第一逻辑状态转换到第二逻辑状态；将所述第三存储器的所有处于所述第二逻辑状态的元件以定义的频率以一定几率转换到所述第一逻辑状态；当奖赏出现时，如果所述元件处于第二逻辑状态，则将突触的更新后的权重从第二存储器复制到第一存储器；以及如果所述元件处于第一逻辑状态，则将突触的权重从第一存储器复制到第二存储器以重写更新后的权重。

本公开的某些实施方式提供一种用于实现神经系统的装置，该神经系统具有多个神经元电路和突触，其中每个突触连接一对神经元电路。该装置总体上包括：用于在神经系统的第一存储器中和第二存储器中存储突触的权重的模块，其中神经系统的第三存储器包括用于每个突触的一个元件；用于如果一对神经元电路进行锋电位发放则在第二存储器中更新连接那对神经元电路的突触的权重并将第三存储器的与那个突触相关联的元件从第一逻辑状态转换到第二逻辑状态的模块；用于将所述第三存储器的所有处于所述第二逻辑状态的元件以定义的频率以一定几率转换到所述第一逻辑状态的模块；用于当奖赏出现时，如果所述元件处于第二逻辑状态则将突触的更新后的权重从第二存储器复制到第一存储器的模块；以及用于如果所述元件处于第一逻辑状态，则将突触的权重从第一存储器复制到第二存储器以重写更新后的权重的模块。

本公开的某些实施方式提供一种用于实现神经系统的计算机程序存储装置，所述神经系统具有多个神经元电路和突触，其中，每个突触连接一对神经元电路，该计算机程序存储装置包括具有存储于其上的软件指令的计算机可读存储器，所述软件指令可由一个或多个处理器执行。所述软件指令总体上包括：用于在神经系统的第一存储器中和第二存储器中存储突触的权重的指令，其中神经系统的第三存储器包括用于每个突触的一个元件；用于如果一对神经元电路进行锋电位发放则在第二存储器中更新连接那对神经元电路的突触的权重并将第三存储器的与那个突触相关联的元件从第一逻辑状态转换到第二逻辑状态的指令；用于将所述第三存储器的所有处于所述第二逻辑状态的元件以定义的频率以一定几率转换到所述第一逻辑状态的指令；用于当奖赏出现时，如果所述元件处于第二逻辑状态则将突触的更新后的权重从第二存储器复制到第一存储器的指令；以及用于如果所述元件处于第一逻辑状态，则将突触的权重从第一存储器复制到第二存储器以重写更新后的权重的指令。

附图说明