[发明专利]一种对偶储备池神经网络模型的构建方法

说明书

本发明公开了一种对偶储备池神经网络模型的构建方法，该方法构建一种适用于时间序列预测领域的解耦对抗性能的对偶储备池网络，该网络可分离储备池计算模型中原本具有对抗性的两种性能‑‑非线性映射能力及短期记忆能力。传统的储备池计算模型基于单个储备池网络，如回声状态网络及液体状态机，虽然能应用到动态系统模型中，但这种计算模型需要对非线性映射能力及短期记忆能力进行权衡。本发明构建的对偶储备池网络，将回声状态网络中的隐藏层设置为两个对偶的储备池，通过非监督编码器主成分分析实现储备池内部信息的压缩传输。对偶储备池网络实现了对非线性映射能力及短期记忆能力的分离与增强并在混沌时间序列预测中取得非常好的效果。

技术领域

本发明涉及储备池计算及神经网络研究技术领域，具体涉及一种对偶储备池神经网络模型的构建方法。

背景技术

从动态系统建模的视角来看，作为储备池计算模型代表的回声状态网络拥有两个重要的性能——非线性映射能力及短期记忆能力。非线性映射性能较高意味着能够更好地拟合非线性数据，而短期记忆能力较强则意味着系统更加倾向于反映前一段时间数据的规律，缺乏对复杂非线性数据做出精准预测的能力。以上两种能力在本质上是相互对抗存在的，当储备池网络表现为较强非线性时，其记忆能力会被削弱；反之，记忆能力较强的储备池网络也会表现出较弱的非线性能力。已经有实验表明，在目前的储备池网络中，非线性映射能力与短期记忆能力存在一种对抗权衡的关系，两个不可同时增大或减小。2010年Verstraeten在一个储备池的仿真试验中研究了这两种对抗性能的相互作用。2013年Butcher从作用点z的影响分析了此问题，其中作用点z受输入缩放比例参数IS及谱半径ρ控制。如图1所示，Butcher发现：给定一个小的输入信号、一个小于1的输入缩放比例参数IS以及一个接近于1但小于1的谱半径ρ，作用点z将处于激活函数的线性区域，该区域内拥有最高的记忆能力和最低的非线性映射能力；当增大输入缩放比例参数IS及谱半径ρ时，由于作用点z上升到了非线性区域，储备池的记忆能力就会减弱而非线性能力得到加强。从Butcher的分析来看，非线性映射能力与短期记忆能力的相互制约是由于作用点z处于单一的线性区域或非线性区域。为了解决这一问题，Butcher在回声状态网络中引入了两种高非线性的静态极限学习机模块，并称该模型为R2SP。另一个相似的工作是2011年Gallicchio提出的ψ-ESN模型，该模型在回声状态网络旁引入了一个极限学习机模块。以上两个模型都使得整个系统的非线性能力得到了一定程度的增强。虽然已有的技术能在一定层面上实现回声状态网络中非线性映射能力或者短期记忆能力的提升，但本质上并没有提出使两种对抗性能共同优化的方法，无法去除这两种性能间的对抗冲突本质，这大大限制了当前具有单储备池的储备池计算网络对于混沌时间序列的建模预测能力。因此，通过何种技术能够实现两种对抗性能的解耦与提升，是储备池计算网络(回声状态网络)中一个非常普遍、具有使用价值的研究问题。该问题的解决将在很大程度上提高储备池计算网络在动态系统建模方面的综合性能。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，公开了一种对偶储备池神经网络模型的构建方法，其中，对抗性能解耦的对偶储备池神经网络可解耦目前储备池计算网络中存在的具有对抗性的非线性映射能力及短期记忆能力，并能够对两种对抗能力分别进行调节及优化提升。本发明提出的对偶储备池神经网络，考虑利用两个储备池来分担这两种能力，具体方法为在回声状态网络的隐藏层中设置两个储备池，称为对偶储备池，通过具有无监督编码能力的主成分分析方法实现对偶储备池内部信息的压缩传递，最终实现了对非线性映射能力及短期记忆能力的解耦与增强，并在混沌时间预测问题上取得最好的预测精度。

本发明的目的可以通过采取如下技术方案达到：

一种对偶储备池神经网络模型的构建方法，所述的构建方法包括下列步骤：

S1、网络初始化，将回声状态网络中的隐含层替换为两个对偶储备池，确定第一个储备池和第二个储备池的大小，生成两个储备池的输入权值，储备池内部的随机连接权值，确定激活函数f(z)，初始化输入缩放比例参数IS，谱半径参数ρ；