[发明专利]尖峰神经网络中的学习及召回

说明书

提供了用于在尖峰神经网络中存储数据信号的方法和装置。对于每个数据信号，这样的方法包括将与数据信号相关的元数据提供给机器学习模型，该机器学习模型被训练成根据用于数据信号的输入元数据来生成输出信号，该输出信号指示用于该数据信号的相关性类别。该方法包括：将该数据信号迭代地提供给尖峰神经网络的经由突触权重互连的神经元的子组件；以及训练这些突触权重以将该数据信号存储在该子组件中。该方法还包括根据模型的输出信号将网络的神经元指派给子组件，使得更大的子组件存储更相关的数据信号。随后可以通过激活该子组件的神经元来召回该子组件所存储的数据信号。

技术领域

本发明总体上涉及尖峰神经网络中的学习和召回。提供了用于存储尖峰神经网络中的数据信号的方法，以及实现此类方法的装置和计算机程序产品。所存储的数据信号可随后通过激活网络的神经元来召回。

背景技术

尖峰神经网络(SNN)是由神经系统的生物架构启发的神经形态处理系统。在人脑中，信息由通过突触互连的神经元的复杂网络处理。生物神经元可以集成它接收的输入信号。表示所存储的神经元状态的神经元“膜电位”通过神经元输入信号的到达而渐进地修改。当膜电位穿过特定的电压阈值时，神经元将“激发”，从而生成被称为“动作电位”或“尖峰”的输出信号，并且然后恢复至其初始状态。这些尖峰经由突触被传递至其他神经元，这些突触由于神经元活动而改变它们的连接强度(“可塑性”或“突触权重”)。

SNN的基本组件包括模拟神经元和突触的功能，其中神经元经由突触互连，突触根据存储的突触权重在神经元之间中继尖峰。SNN中的信息处理依赖于尖峰神经元的网络之间的全或无的基于尖峰的通信。

不同大脑区域的实验证据表明，在试验中可以学习并且可靠地再现精确的尖峰定时，从而提供用于存储和召回信息的机制。在神经形态系统中，学习自主地再现表示数据信号的时空尖峰模式是仅最近被尖峰神经网络的模型接近的基本挑战(参见例如：“被编排为形成和检索记忆的不同突触可塑性机制(Diverse Synaptic Plasticity MechanismsOrchestrated to Form and Retrieve Memories)”，Zenke等人，自然通讯(NatureCommunications)，2015；以及“用尖峰神经网络在序列学习中进行匹配召回和存储(Matching Recall and Storage in Sequence Learning with Spiking neuralNetworks)”，Brea等人，神经科学杂志(Journal of Neuroscience)，2013)。

用于存储SNN中的数据信号的改进的技术将是高度期望的。

发明内容

根据本发明的一个方面，提供了一种用于在尖峰神经网络中存储数据信号的方法。对于每个数据信号，该方法包括将与该数据信号相关的元数据供应至机器学习模型，该机器学习模型被训练为根据用于数据信号的输入元数据生成指示该数据信号的相关性类别的输出信号。该方法包括：将该数据信号迭代地供应给尖峰神经网络的经由突触权重互连的神经元子组件，以及训练突触权重以将该数据信号存储在该子组件中。该方法进一步包括根据模型的输出信号将网络的神经元指派给子组件，使得更大的子组件存储更相关的数据信号。

体现本发明的方法实现SNN中的“相关性感知”学习。基于数据信号的元数据，经由通过机器学习模型实现的分类过程来确定要存储的数据信号的相关性。SNN被动态地配置为用于基于输出信号，并且因此基于来自模型的相关性类别，存储每个数据信号，使得被分类为更相关的数据信号存储在比不太相关的信号更大的子组件中。这提供了用于模拟类似大脑的特征的优雅且有效的技术，由此学习和召回功能可以依赖于关联来改进可靠性。特别地，常见的经验是相关/重要信息的学习和召回比不相关信息更可靠。通过基于从元数据得出的相关性类别动态地配置子组件，体现本发明的方法可以改善数据被存储并且随后在SNN中被召回的保真度，从而提供高效的基于SNN的数据存储。