[发明专利]循环神经网络中的勒让德存储器单元

权利要求书

1.一种用于生成具有勒让德存储器单元(LMU)单元的循环神经网络的方法，包括：

定义所述循环神经网络中的每个节点的节点响应函数，所述节点响应函数表示随时间的状态，其中所述状态被编码为二进制事件或实值中的一者；每个节点具有节点输入和节点输出；

定义每个节点输入的一组连接权重；

定义每个节点输出的一组连接权重；

定义一个或多个LMU单元，所述一个或多个LMU单元具有被定义为基于以下公式来确定节点连接权重的矩阵的一组循环连接：

，

其中

其中q是由用户确定的整数，i和j大于或等于0。

2.根据权利要求1所述的方法，其中所述一组输入连接权重被定义为基于以下公式来确定节点连接权重的矩阵：其中b_i＝(2i+1)(-1)ⁱ。

3.根据权利要求1所述的方法，其中所述LMU节点连接权重基于以下方程来确定：

f(A；θ，t)

其中f是A的函数，θ是预定参数，并且t是时间。

4.根据权利要求3所述的方法，其中所述预定参数是由用户选择的或使用所述神经网络中的节点的所述输出确定的中的一者。

5.根据权利要求1所述的方法，其中所述LMU节点连接权重基于以下方程来确定：

其中是A的函数，是θ预定参数，t是时间，并且Δt是预定参数。

6.根据权利要求5所述的方法，其中所述预定参数中的每者是由用户选择的或使用所述神经网络中的节点的所述输出确定的中的一者。

7.根据权利要求1所述的方法，其中来自节点输出的一个或多个连接权重是通过估计勒让德多项式确定的。

8.根据权利要求1所述的方法，其中所述LMU单元是堆叠的，其中每个LMU单元使用连接权重矩阵或另一个神经网络来连接到下一个。

9.根据权利要求1所述的方法，其中一个或多个LMU单元包括到选自LSTM单元、GRU单元、NRU单元、其他LMU单元、多层感知器、S形层和其他线性或非线性层的其他网络架构的输入和从选自LSTM单元、GRU单元、NRU单元、其他LMU单元、多层感知器、S形层和其他线性或非线性层的其他网络架构的输出的连接。

10.根据权利要求1所述的方法，其中通过更新所述网络的多个参数来将所述网络训练为神经网络。

11.根据权利要求1所述的方法，其中通过固定一个或多个参数而同时更新剩余参数来将所述网络训练为神经网络。

12.一种用于神经网络中的模式分类、数据表示或信号处理的系统，所述系统包括：

一个或多个输入层，所述一个或多个输入层呈现一个或多个维度的矢量，其中每个维度通过外部输入或通过使用来自所述网络的先前输出来提供到所述网络；

一个或多个中间层，所述一个或多个中间层经由权重矩阵耦合到所述输入层、其他中间层或输出层中的至少一者；

一个或多个输出层，所述一个或多个输出层生成在所述输入层处呈现的数据的矢量表示或在一个或多个离散时间点上或随时间而连续地计算该数据的函数；

其中

所述系统使用根据权利要求1所述的方法来生成循环神经网络。

13.一种电路，所述电路在硬件中实现，具有一个或多个循环连接，所述一个或多个循环连接使用根据权利要求1所述的方法来确定节点连接权重。

14.根据权利要求13所述的电路，其中来自节点输出的一个或多个连接权重是通过估计所述勒让德多项式确定的。