[发明专利]压缩的递归神经网络模型

摘要

本发明公开了压缩的递归神经网络模型。本发明提供用于利用压缩选通函数来实施长短期记忆层的方法、系统、和装置，包括在计算机存储介质上编码的计算机程序。系统之一包括第一LSTM层，该第一LSTM层具有门，门被配置成针对多个时间步长中的每个时间步长，通过使门输入矢量乘以门参数矩阵来生成相应的中间门输出矢量。门中的至少一个门的门参数矩阵是结构化矩阵或者由压缩的参数矩阵和投影矩阵定义。通过将压缩的LSTM层包括在递归神经网络中，递归神经网络被配置成能够更有效地处理数据并且使用更少的数据存储。具有压缩的LSTM层的递归神经网络可以被有效地训练以实现可比得上全尺寸的(例如，未压缩的)递归神经网络的误字率。

主权项

一种神经网络系统，包括：递归神经网络，所述递归神经网络由一个或多个计算机实现，其中，所述递归神经网络被配置成在多个时间步长中的每个时间步长处接收相应的神经网络输入，并且生成在所述多个时间步长中的每个时间步长处的相应的神经网络输出，并且其中，所述递归神经网络包括：第一长的短期记忆(LSTM)层，其中，所述第一LSTM层被配置成，针对所述多个时间步长中的每个时间步长，通过将多个门应用于当前层输入、当前层状态和当前层输出来生成新的层状态和新的层输出，所述多个门中的每个门被配置成，针对所述多个时间步长中的每个时间步长，通过使门输入矢量乘以门参数矩阵来生成相应的中间门输出矢量，并且其中，所述多个门中的至少一个门的所述门参数矩阵是类托普利兹结构化矩阵。