[发明专利]具有记忆的低通递归神经网络系统

说明书

本申请涉及具有记忆的低通递归神经网络系统，包括：用于接收表示观察的序列的输入矢量的序列的输入；记忆结构，耦合到该输入以接收输入矢量的表示并将其存储为存储的数据；以及一个或多个输出层，耦合到所述记忆结构以读取并处理所述存储的数据以提供输出。记忆结构包括记忆层的序列，其中一个记忆层耦合到该序列中的下一个记忆层。对于输入矢量的序列中的每个输入矢量，记忆结构被配置成执行如下操作：在第一记忆层中存储最新的潜在变量的集合和先前存储在所述第一记忆层中的数据的组合；和将由记忆层所存储的数据从每个记忆层传递到所述序列中的下一个记忆层并将所传递数据与由该下一个记忆层先前存储的数据相组合地存储在该下一个记忆层中。

技术领域

本说明书涉及具有记忆的神经网络系统。

背景技术

神经网络是机器学习模型，其使用一个或多个非线性单元层来预测接收输入的输出。除了输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一层(即下一个隐藏层或输出层)的输入。网络的每个层根据相应参数集的当前值从接收的输入生成输出。

一些神经网络是递归神经网络。递归神经网络是接收输入序列并从输入序列生成输出序列的神经网络。特别地，递归神经网络可以使用来自先前时间步的网络的内部状态的一些或全部来计算当前时间步的输出。递归神经网络的示例是长短期记忆(LSTM)神经网络，其包括一个或多个LSTM记忆块。每个LSTM记忆块可以包括一个或多个单元，每个单元包括输入门、遗忘门和输出门，其允许单元存储单元的先前状态，例如用于生成当前激活或被提供到LSTM神经网络的其他组件。

发明内容

该说明书描述了在一个或多个位置中的一个或多个计算机上实现为计算机程序的递归神经网络系统。

根据一个方面，递归神经网络系统包括输入，该输入被设置为接收表示观察的序列的输入矢量的序列，该输入矢量的序列是输入数据项序列的数据项。可以存在一个或多个输入层，例如卷积神经网络的层，耦合到输入以处理输入矢量并生成观察的潜在表示的序列，每个潜在表示包括一个或多个潜在变量的集合。记忆结构被耦合以接收和存储输入矢量的表示，例如潜在变量的表示，作为存储数据。一个或多个输出层可以耦合到记忆层以读取和处理存储的数据以提供输出。记忆结构可以包括记忆层的序列，其中一个记忆层例如在链中耦合到序列中的下一个记忆层。对于输入矢量的序列中的每个输入矢量，记忆结构可以被配置成执行包括在第一记忆层中存储最新的潜在变量的集合和先前存储在第一记忆层中的数据的组合的操作；并且将由每个记忆层存储的数据传递到记忆层序列中的下一个记忆层，并将所传递的数据与先前由下一个记忆层存储的数据相组合地存储在下一个记忆层中。

先前存储在第一和后续记忆层中的数据在与要存储在相应记忆层中的新数据组合之前可以被衰减。例如，存储在第一记忆层中可以包括：在将组合存储在第一记忆层中之前，将最新的潜在变量的集合乘以b^-n，并将先前存储在第一记忆层中的数据乘以1-b^-n。存储在后续记忆层中可以包括：在存储组合之前将从先前层传递的数据乘以b^-(n+l)并将先前存储在下一个记忆层中的数据乘以1-b^-(n+l)。这里n对记忆层序列中的记忆层进行索引，并且n＝1可以表示第一记忆层。l是常数。l可能为零。因子b可以被定义或学习。因子b可以是标量值。例如，b可以是0到1范围内的值。在另一示例中，b可以是大于1的值。因子b可以是层特定的，即每个记忆层可以具有其自身的针对b的关联值。或者，针对所有记忆层或记忆层的一些子集可以使用相同的b值。

将数据从一个记忆层传递到下一个记忆层可以包括在将当前和先前数据混合在一个记忆层中之后传递数据。或者，将数据从一个记忆层传递到下一个记忆层可以包括在将当前和先前数据混合在一个记忆层中之前传递数据，即传递在前一时间步存储在一个记忆层中的数据。因此，传递的数据可以是在当前序列步骤中确定的数据或先前存储在一个记忆层中的数据。