[发明专利]基于兴奋性与抑制性STDP的储备池网络的结构优化方法

说明书

本发明提供了一种基于兴奋性与抑制性STDP的储备池网络的结构优化方法，所述储备池网络为由兴奋性神经元E和抑制性神经元I相互连接构成的网络，网络存在四种连接：E‑E、E‑I、I‑E、I‑I，通过兴奋性STDP调节E‑E的连接权值，通过抑制性STDP调节I‑E的连接权值。本发明通过兴奋性STDP与抑制性STDP相互作用的无监督学习规则，实现兴奋性与抑制性平衡；形成与生物神经网络特征一致的具有长尾分布特征的异构性网络结构，网络信息容量大，网络性能最优。

技术领域

本发明属于人工神经网络技术领域，尤其是涉及一种基于兴奋性与抑制性STDP的储备池网络的结构优化方法。

背景技术

回声状态网络(Echo state networks,ESNs)是一种新型神经网络模型，回声状态网络在宏观结构上属于多层前馈神经网络模型，其结构如图1所示，图中中间部分的局部递归神经网络为储备池(reservoir computing)模块，属于回声状态网络的关键部分。

储备池模块是一个递归神经网络(recurrent neural network)，储备池网络的神经元之间随机稀疏连接，连接权值对系统性能具有决定性的影响，现有技术中，如何设定储备池网络连接权值主要靠经验调节，需要有经验的人才能完成，而且需要经验很丰富的人，因为经验的多少对网络性能的好坏有很大的影响，人的主观性影响很大，性能不一定是最好，而且需要花费很大的时间。还有，有些领域的经验数据可能有限，很难得到性能比较好的网络结构。

发明内容

有鉴于此，本发明旨在提出一种基于兴奋性与抑制性STDP的储备池网络的结构优化方法，通过学习获得，不受人的经验影响，且性能达到最优，信息容量大。

为达到上述目的，本发明的技术方案是这样实现的：

基于兴奋性与抑制性STDP的储备池网络的结构优化方法，所述储备池网络为由兴奋性神经元E和抑制性神经元I相互连接构成的网络，网络存在四种连接：E-E、E-I、I-E、I-I，通过兴奋性STDP调节E-E的连接权值，通过抑制性STDP调节I-E的连接权值。

进一步的，将抑制性突触可塑性作用于I-E突触上，抑制性突触可塑性模型为依赖放电时刻的突触可塑性STDP，可塑性表现为近似同步的突触前后神经元放电使得抑制性突触权重增强，而单个神经元放电使其衰减，抑制性突触可塑性的调节函数的公式如下所示：

Δt＝t_j-t_i

其中，t_j,t_i分别为突触前后神经元的脉冲发放时刻。

进一步的，将兴奋性突触可塑性作用于E-E突触上，兴奋性突触可塑性模型为依赖放电时刻的可塑性STDP，可塑性表现为当突触后神经元i在突触前神经元j之后放电时，突触权重增强；当突触后神经元i在突触前神经元j之前放电时，突触权重减弱；即当神经元i或j放电时，W_ji+ΔW_i→W_ji，其调节函数的公式如下：

其中，W_ji为突触权重，t_j和t_i为神经元j和i最近一次的放电时刻，τ₊和τ_-分别代表了当突触增强或减弱发生时突触前后脉冲间隙的范围，A₊(W_ij)和A_-(W_ij)为权重依赖函数：

其中，η为学习率，W_max最大权重。

进一步的，通过跟踪来明确抑制性突触强度变化，跟踪方法为：