[发明专利]强化学习的电子突触

权利要求书

1.一种系统，包含：

多个电子神经元；

交叉式数组，配置为互连所述多个电子神经元，该交叉式数组包含：

多个轴突及多个树突，使得该轴突与该树突彼此横贯；以及

多个电子突触，其中每一电子突触位于耦合于树突及轴突间的该交叉式数组的交叉点，每一电子突触配置为互连前突触电子神经元及后突触电子神经元；

其中每一电子突触包含：

存储器组件，配置为存储该电子突触的状态以及存储用以更新该电子突触的该状态的元信息；以及

更新模块，配置为基于该元信息更新该电子突触的该状态，以响应针对强化学习的更新信号。

2.如权利要求1所述的系统，其中该电子突触能够异步地并行操作。

3.如权利要求1或2所述的系统，其中电子突触状态基于延迟更新信号根据强化学习而程序化。

4.如权利要求1、2或3所述的系统，其中：

每一电子突触的该更新模块配置为更新该电子突触，使得：

响应该前突触神经元脉冲信号，该电子突触的该状态通过读取信号而更新，该读取信号经由该电子突触而从该前突触神经元传送至该后突触神经元；

响应该前突触神经元脉冲信号以及接着响应该后突触神经元脉冲信号，更新该电子突触的该状态使得该电子突触根据学习规则而设定；以及

响应该后突触神经元脉冲信号及接着响应该前突触神经元脉冲信号，更新该电子突触的该状态，其中该电子突触根据学习规则而重设。

5.如权利要求1、2或3所述的系统，其中：

每一电子突触的该更新模块配置为基于强化学习而更新该电子突触，使得该电子突触基于脉冲时间相依可塑性而更新以响应更新信号。

6.如任意先前权利要求所述的系统，其中每一电子突触还包含多个轴突路径横贯于多个树突路径而形成交叉点的数组，使得该存储器组件位于该数组的对角线的该交叉点上。

7.如任意先前权利要求所述的系统，其中每一电子突触包含：

三个存储器组件，配置为维持信息；以及

三个轴突路径横贯于三个树突路径而形成9个交叉点的3x3数组，使得该存储器组件位于该数组的对角线的该交叉点上，提供R位、G位、及B位。

8.如权利要求7所述的系统，其中

该交叉式数组包含具有N²电子突触的NxN交叉点；

每一电子突触针对电子强化学习而配置为：

并行地读取R行；

并行地读取且设定G列；

并行地重设G行；

并行地读取且设定B行；

并行地设定B列；

估计在R行及列上的一些设定位；以及

当报酬信号抵达时，提供通用值信号，且设定及重设该交叉式数组中的所有N²R位。

9.如任意先前权利要求所述的系统，其中每一电子突触包含六端装置，其中两端用于读取、两端用于设定、以及两端用于重设。

10.如任意先前权利要求所述的系统，其中每一电子突触包含基于静态随机存取存储器(SRAM)的存储器组件。

11.如权利要求1至9中任意所述的系统，其中每一电子突触包含基于动态随机存取存储器(DRAM)的存储器组件。

12.如任意先前权利要求所述的系统，其中每一电子突触配置为互连前突触电子神经元的轴突以及后突触电子神经元的树突。

13.一种装置，包含：

电子突触，配置为互连前突触电子神经元及后突触电子神经元，该电子突触包含：

存储器组件，配置为存储该电子突触的状态以及存储用以更新该电子突触的该状态的元信息；以及

更新模块，配置为基于该元信息更新该电子突触的该状态，以响应针对强化学习的更新信号。

14.如权利要求13所述的装置，其中该更新模块配置为基于该元信息更新该电子突触的该状态，以响应基于学习规则的针对强化学习的延迟更新信号。

15.如权利要求13或14所述的装置，其中：

该更新模块配置为基于电子强化学习更新该电子突触的该状态，使得该电子突触基于脉冲时间相依可塑性学习规则而更新。