[发明专利]一种对偶储备池神经网络模型的构建方法

摘要

本发明公开了一种对偶储备池神经网络模型的构建方法，该方法构建一种适用于时间序列预测领域的解耦对抗性能的对偶储备池网络，该网络可分离储备池计算模型中原本具有对抗性的两种性能‑‑非线性映射能力及短期记忆能力。传统的储备池计算模型基于单个储备池网络，如回声状态网络及液体状态机，虽然能应用到动态系统模型中，但这种计算模型需要对非线性映射能力及短期记忆能力进行权衡。本发明构建的对偶储备池网络，将回声状态网络中的隐藏层设置为两个对偶的储备池，通过非监督编码器主成分分析实现储备池内部信息的压缩传输。对偶储备池网络实现了对非线性映射能力及短期记忆能力的分离与增强并在混沌时间序列预测中取得非常好的效果。

主权项

1.一种对偶储备池神经网络模型的构建方法，其特征在于，所述的构建方法包括下列步骤：S1、网络初始化，将回声状态网络中的隐含层替换为两个对偶储备池，确定第一个储备池和第二个储备池的大小，生成两个储备池的输入权值，储备池内部的随机连接权值，确定激活函数f(z)，初始化输入缩放比例参数IS，谱半径参数ρ；S2、信号输入，输入当前的信号u(n)；S3、第一个储备池的状态更新，将n时刻第一个储备池的状态用n-1时刻储备池的状态的(1-γ)倍加上该时刻f(z)的γ倍表示，其中z为n-1时刻储备池状态的加权与n时刻输入信号的加权缩放之和，z的第一部分用谱半径参数ρ调节，其第二部分通过输入缩放比例参数IS控制；其函数表示为： x ( 1 ) ( n ) = ( 1 - γ ( 1 ) ) x ( 1 ) ( n - 1 ) + γ ( 1 ) f ( 1 ) ( W ( 1 ) x ( 1 ) ( n - 1 ) + IS ( 1 ) · W i n ( 1 ) u ( n ) ) - - - ( 1 ) ]]> W = ρ W 0 λ m a x ( W 0 ) - - - ( 2 ) ]]>其中，n是储备池所对应的时刻，x(n)为储备池所对应的状态，γ为泄露率，u(n)为输入信号，ρ为谱半径参数，Win是投影矩阵，W是迁移矩阵，由W0产生，λmax(W0)为矩阵的最大特征值，W0的元素在[-0.5，0.5]间随机产生，式中脚标(1)表示第一个储备池所对应的参量；S4、通过给定的输入缩放比例参数IS及谱半径参数ρ，获得第一个储备池的状态表示，该状态表示包括第一个储备池的非线性映射信息及短期记忆信息；S5、通过PCA编码器对第一个储备池的状态进行降维编码，提取出该储备池隐含状态中的抽象特征向量h(n),将h(n)作为第二个储备池的输入信号；S6、第二个储备池的状态更新，输入当前的信号h(n)，将n时刻第一个储备池的状态用n-1时刻储备池的状态的(1-γ)倍加上该时刻f(z)的γ倍表示，其中z为n-1时刻储备池状态的加权与n时刻输入信号的加权缩放之和，z的第一部分可用谱半径参数ρ调节，其第二部分可通过输入缩放比例参数IS控制；其函数表示为 x ( 2 ) ( n ) = ( 1 - γ ( 2 ) )