[发明专利]一种对偶储备池神经网络模型的构建方法

权利要求书

1.一种对偶储备池神经网络模型的构建方法，其特征在于，所述的构建方法包括下列步骤：

S1、网络初始化，将回声状态网络中的隐含层替换为两个对偶储备池，确定第一个储备池和第二个储备池的大小，生成两个储备池的输入权值，储备池内部的随机连接权值，确定激活函数f(z)，初始化输入缩放比例参数IS，谱半径参数ρ；

S2、信号输入，输入当前的信号u(n)；

S3、第一个储备池的状态更新，将n时刻第一个储备池的状态用n-1时刻储备池的状态的(1-γ)倍加上该时刻f(z)的γ倍表示，其中z为n-1时刻储备池状态的加权与n时刻输入信号的加权缩放之和，z的第一部分用谱半径参数ρ调节，其第二部分通过输入缩放比例参数IS控制；其函数表示为：

x ( 1 ) ( n ) = ( 1 - γ ( 1 ) ) x ( 1 ) ( n - 1 ) + γ ( 1 ) f ( 1 ) ( W ( 1 ) x ( 1 ) ( n - 1 ) + IS ( 1 ) · W i n ( 1 ) u ( n ) ) - - - ( 1 ) ]]>

W = ρ W 0 λ m a x ( W 0 ) - - - ( 2 ) ]]>

其中，n是储备池所对应的时刻，x(n)为储备池所对应的状态，γ为泄露率，u(n)为输入信号，ρ为谱半径参数，Win是投影矩阵，W是迁移矩阵，由W0产生，λmax(W0)为矩阵的最大特征值，W0的元素在[-0.5，0.5]间随机产生，式中脚标(1)表示第一个储备池所对应的参量；

S4、通过给定的输入缩放比例参数IS及谱半径参数ρ，获得第一个储备池的状态表示，该状态表示包括第一个储备池的非线性映射信息及短期记忆信息；

S5、通过PCA编码器对第一个储备池的状态进行降维编码，提取出该储备池隐含状态中的抽象特征向量h(n),将h(n)作为第二个储备池的输入信号；

S6、第二个储备池的状态更新，输入当前的信号h(n)，将n时刻第一个储备池的状态用n-1时刻储备池的状态的(1-γ)倍加上该时刻f(z)的γ倍表示，其中z为n-1时刻储备池状态的加权与n时刻输入信号的加权缩放之和，z的第一部分可用谱半径参数ρ调节，其第二部分可通过输入缩放比例参数IS控制；其函数表示为

x ( 2 ) ( n ) = ( 1 - γ ( 2 ) ) x ( 2 ) ( n - 1 ) + γ ( 2 ) f ( 2 ) ( W ( 2 ) x ( 2 ) ( n - 1 ) + IS ( 2 ) · W i n ( 2 ) h ( n ) ) - - - ( 3 ) ]]>

W = ρ W 0 λ m a x ( W 0 ) - - - ( 2 ) ]]>

其中，n是储备池所对应的时刻，x(n)为储备池所对应的状态，γ为泄露率，u(n)为输入信号，ρ为谱半径，Win是投影矩阵，W是迁移矩阵，由W0产生，λmax(W0)为矩阵的最大特征值，W0的元素在[-0.5，0.5]间随机产生，式中脚标(2)表示第二个储备池所对应的参量；

S7、将直接连接、特征连接及输出层的信息收集到矩阵M中，并通过线性回归技术学习相应的连接权值，将教师信号收集至矩阵T中，通过引入Thikhonov正则化项，构建成一个岭回归问题实现对对偶储备池网络模型最优权重矩阵W*的求解。