[发明专利]一种回声状态网络尺寸压缩中的稳定性保持方法

说明书

本发明涉及机器学习领域，具体涉及一种回声状态网络尺寸压缩中的稳定性保持方法。本发明的目的在于针对在对回声状态网络进行网络尺寸压缩时可能会出现改变网络稳定性的问题，提出一种保持稳定性的方法。该方法首先将原回声状态网络的激活函数在平衡点处泰勒展开分解为两个部分，即雅可比矩阵为零的非线性部分和继承了原激活函数的雅可比矩阵的线性部分，再对非线性部分进行函数近似等操作而不会改变函数整体在平衡点处的雅可比矩阵。从而实现对网络尺寸进行压缩、加速其前向传播速度的同时保持与原始网络相同的稳定性。

技术领域

本发明涉及机器学习领域，具体涉及一种回声状态网络尺寸压缩中的稳定性保持方法。

技术背景

回声状态网络(ESN)属于循环神经网络(RNN)，是一种专门处理时间数据的深度网络。它是一种重要的基于存储计算的神经网络。ESN以其简单的结构和称为储层的大型内部递归拓扑而闻名。另外，与权值可训练的普通RNN不同，线性回归方法只能训练回声状态网络的输出权值，避免了普通RNN训练时存在长期依赖的问题。回声状态网络由于其结构简单，训练过程基于线性回归，在许多时间序列和非线性动力学系统建模应用中得到了广泛的应用。

训练后，一个神经网络将用于应用：网络将接受输入数据并生成输出数据。这称为评估过程，或前向传播，因为信息从后(输入)流到前(输出)。ESN评估的速度是一个主要问题，因为许多基于ESN的应用需要快速的服务响应时间和/或部署在资源有限的设备(如手机、平板电脑、可穿戴设备等)上。然而，为了捕获训练数据中的复杂特征，ESN通常需要大量的存储空间(大量的内部储备池神经元)。如此大的储备池层会进一步降低正向传播的计算速度。

为了加速深度网络的正向传播，人们进行了大量的研究，其中大部分集中在流行的前馈网络和卷积神经网络(CNN)，常采用参数剪枝和低秩近似方法。

发明内容

本发明提供了一种回声状态网络尺寸压缩中的稳定性保持方法，其目的在于解决对回声状态网络进行网络尺寸压缩时可能会出现改变网络稳定性的问题。经过本发明处理过后生成的网络占用的存储空间比ESN小，计算速度更快，计算复杂度更低，而网络的稳定性与原网络保持一致。

本发明采用以下技术方案解决上述问题：首先将激活函数分解为线性部分与非线性部分(在平衡点处雅可比矩阵为零矩阵)之和，然后可以通过状态近似和激活函数近似处理网络，对网络尺寸进行压缩，减少ESN的激活操作次数。这种技术可以提高前向传播速度，因为需要更少的非线性函数前向传播和相关计算，并且可以使处理过后的网络与原始网络的稳定性保持一致。

具体实施方式

为了更好的阐述本发明的技术实施流程，下面将对各个技术部分进行更清晰的阐述。在本发明中所描述的实例只为一部分，不是全部适用的实例。基于本发明中的实例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实例，都属于本发明保护的范围。

具有n_in个输入、n_out个输出和n个内部变量的ESN可由以下离散时间k状态空间形式的非线性差分方程表示：

其中，是k时刻n个内部单元的状态向量，和是时刻k的输入和输出向量，是输入单位和内部单位之间联系的输入权值矩阵，是内部单位从时刻k到k+1连接的内部权重矩阵，是内部单元和输出单元之间连接的输出权重矩阵，f(x)被称为激活函数，它通常是一个非线性S形函数。在本文中，默认情况下，f(x)＝tanh(x)，因为它是ESN最常用的激活函数。

本发明提供了一种回声状态网络尺寸压缩中的稳定性保持方法，具体步骤包括：