[发明专利]强化学习的电子突触

说明书

背景技术

本发明一般涉及神经形态(neuromorphic)及突触器(synapatronic)系统，特别是涉及在突触交叉式数组中产生脉冲时间相依可塑性。

神经形态及突触器系统，还称作人造神经网络，是允许电子系统以实质类似于生物脑部的方式运作的运算系统。神经形态及突触器系统一般不利用控制0与1的传统数字模型。反之，神经形态及突触器系统产生功能上大致等效于生物脑部神经元的处理组件间的连接。神经形态及突触器系统可包含以生物神经元作模型的许多电子电路。

在生物系统中，突触是指一神经元的轴突与另一神经元的树突间的连接点，对突触而言，二个神经元分别称为前突触(pre-synaptic)及后突触(post-synaptic)。我们个人经验的本质存储于突触的传导中。突触传导随着时间以每个脉冲时间相依可塑性(spike-timing dependent plasticity，STDP)的前突触及后突触神经元的相对脉冲时间的函数而改变。若后突触神经元在前突触神经元发射后才发射，则STDP规则增加此突触的传导，若二个神经元发射的顺序颠倒，则STDP规则降低突触的传导。

发明内容

本发明具体实施例提供配置为强化学习的电子突触。在一具体实施例中，电子突触配置为互连前突触电子神经元及后突触电子神经元。电子突触包含配置为存储电子突触的状态以及存储用以更新电子突触的状态的元信息的存储器组件。电子突触还包含更新模块，其配置为基于元信息更新电子突触的状态，以响应针对强化学习的更新信号。更新模块配置为基于元信息更新电子突触的状态，以响应基于学习规则的针对强化学习的延迟更新信号。

在另一具体实施例中，本发明提供一种系统，其包含多个电子神经元以及配置为互连多个电子神经元的交叉式数组。交叉式数组包含多个轴突及多个树突，使得轴突与树突彼此横贯。交叉式数组还包含多个电子突触，其中每一电子突触位于耦合于树突及轴突间的交叉式数组的交叉点，每一电子突触配置为互连前突触电子神经元及后突触电子神经元。

本发明的优选实施例提供空分多重存取电子突触，包含六端装置，其中两端用于读取、两端用于设定、以及两端用于重设。

本发明的这些及其它特征、方面及优点可参考以下的详细说明、后附的权利要求书、以及所附随的附图而了解。

附图说明

图1A根据本发明一具体实施例显示具有电子突触的交叉式数组的神经形态及突触器系统的示意图；

图1B根据本发明一具体实施例显示在前突触路径及后突触路径的交叉点的电子突触的示意图；

图2根据本发明一具体实施例显示在涉及读取操作的交叉点的电子突触的示意图；

图3根据本发明一具体实施例显示在涉及STDP-设定操作的交叉点的电子突触的示意图；

图4根据本发明一具体实施例显示在涉及STDP-重设操作的交叉点的电子突触的示意图；

图5根据本发明一具体实施例显示在涉及STDP-设定操作的交叉点的电子突触的示意图；

图6根据本发明一具体实施例显示包括交叉点数组的电子突触的示意图；

图7根据本发明一具体实施例显示涉及R位的STDP操作的电子突触的示意图；

图8根据本发明一具体实施例显示涉及G位的STDP操作的电子突触的示意图；

图9根据本发明一具体实施例显示涉及B位的STDP操作的电子突触的示意图；

图10根据本发明一具体实施例显示电子突触的交叉式数组的示意图；

图11根据本发明一具体实施例显示电子突触的示意图；

图12根据本发明一具体实施例显示基于静态随机存取存储器(static random access memory，SRAM)的电子突触的示意图；

图13根据本发明一具体实施例显示基于动态随机存取存储器(dynamic random access memory，DRAM)的电子突触的示意图；以及

图14显示适用于实施本发明一具体实施例的信息处理系统的高阶方块示意图。

具体实施方式

本发明具体实施例提供配置为供强化学习(reinforcement learning，RL)的电子突触。本发明具体实施例还提供利用此用于RL的电子突触的神经形态及突触器系统，其包含实施脉冲时间相依可塑性(spike-timing dependent plasticity，STDP)的交叉式数组。