[发明专利]在尖峰神经网络中使用重放来实现突触学习

说明书

本申请要求于2013年11月8日提交的美国临时专利申请S/N.61/901,599、 以及于2014年9月24日提交的美国专利申请S/N.14/494,681的权益，这两篇 申请的全部内容通过援引纳入于此

背景

领域

本公开的某些方面一般涉及人工神经系统，尤其涉及在尖峰人工神经网络 中使用重放来实现突触学习。

背景

可包括一群互连的人工神经元(即神经处理单元)的人工神经网络是一种 计算设备或者表示将由计算设备执行的方法。人工神经网络可具有生物学神经 网络中的对应的结构和/或功能。然而，人工神经网络可为其中传统计算技术是 麻烦的、不切实际的、或不胜任的某些应用提供创新且有用的计算技术。由于 人工神经网络能从观察中推断出功能，因此这样的网络在因任务或数据的复杂 度使得通过常规技术来设计该功能较为麻烦的应用中是特别有用的。

一种类型的人工神经网络是尖峰(spiking)神经网络，其将时间概念以及 神经元状态和突触状态纳入到其工作模型中，由此提供了丰富的行为集，在神 经网络中能从该行为集涌现出计算功能。尖峰神经网络基于以下概念：神经元基 于该神经元的状态在一个或多个特定时间激发或“发放尖峰”，并且该时间对 于神经元功能而言是重要的。当神经元激发时，它生成一尖峰，该尖峰行进至 其他神经元，这些其他神经元继而可基于接收到该尖峰的时间来调整它们的状 态。换言之，信息可被编码在神经网络中的尖峰的相对或绝对定时中。

概述

本公开的某些方面一般涉及在尖峰神经网络中使用重放来实现突触学习。 本公开的某些方面涉及一种训练人工神经系统的方法。该方法一般包括：记录 训练迭代期间的人工神经元的尖峰的定时，在后续训练迭代期间根据所记录的 定时来重放该人工神经元的尖峰，以及至少部分地基于该后续训练迭代来更新 与该人工神经元相关联的参数。

本公开的某些方面提供一种用于训练人工神经系统的装置。该装置一般包 括处理系统，其被配置成：记录训练迭代期间的人工神经元的尖峰的定时，在 后续训练迭代期间根据所记录的定时来重放该人工神经元的尖峰，以及至少部 分地基于该后续训练迭代来更新与该人工神经元相关联的参数，以及耦合至该 处理系统的存储器。

本公开的某些方面提供一种用于训练人工神经系统的设备。该设备一般包 括：用于记录训练迭代期间的人工神经元的尖峰的定时的装置，用于在后续训 练迭代期间根据所记录的定时来重放该人工神经元的尖峰的装置，以及用于至 少部分地基于后续训练迭代来更新与该人工神经元相关联的参数的装置。

本公开的某些方面提供一种其上存储有可由计算机执行的指令的计算机 可读介质。这些指令可执行以用于：记录训练迭代期间的人工神经元的尖峰的 定时，在后续训练迭代期间根据所记录的定时来重放该人工神经元的尖峰，以 及至少部分地基于所述后续训练迭代来更新与该人工神经元相关联的参数。

附图简述

为了能详细理解本公开的以上陈述的特征所用的方式，可参照各方面来对 以上简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应 该注意，附图仅解说了本公开的某些典型方面，故不应被认为限定其范围，因 为本描述可允许有其他等同有效的方面。

图1解说根据本公开的某些方面的示例神经元网络。

图2解说根据本公开的某些方面的计算网络(神经系统或神经网络)的示 例处理单元(神经元)。

图3解说根据本公开的某些方面的示例尖峰定时依赖可塑性(STDP)曲 线。

图4是根据本公开的某些方面的用于人工神经元的状态的示例示图，其解 说用于定义神经元的行为的正态相和负态相。

图5解说根据本公开的某些方面的神经网络使用重放尖峰来实现突触学习 的示例状态机。

图6解说根据本公开的某些方面的神经网络中使用重放尖峰来实现突触学 习的示例操作时间线。

图7解说根据本公开的某些方面的神经网络使用重放尖峰来实现突触学习 的示例状态机，并且其中连接表(CT)已被分段成多个离散的延迟范围。

图8解说根据本公开的某些方面的神经网络中使用重放尖峰来实现突触学 习的示例操作时间线，并且其中CT表已被分段成多个离散的延迟范围。

图9解说根据本公开的某些方面的用于训练人工神经系统的示例操作。