[发明专利]使用神经网络产生输入序列的表示的方法、系统和介质

权利要求书

1.一种用于处理语言数据输入的方法，所述方法包括：

获得输入序列，所述输入序列包括根据输入顺序排列的第一语言的多个输入；

使用第一神经网络处理所述输入序列，以将所述输入序列转换为所述输入序列的可替换表示，所述第一神经网络是长短期记忆LSTM神经网络；以及

使用第二神经网络处理所述输入序列的所述可替换表示，以产生所述输入序列的目标序列，所述第二神经网络是LSTM神经网络，所述目标序列包括根据输出顺序排列的多个输出，

其中，使用所述第二神经网络处理所述输入序列的所述可替换表示包括：

将所述第二神经网络的初始隐藏状态初始化为所述输入序列的所述可替换表示；

根据所述初始隐藏状态使用所述第二神经网络产生一组初始输出得分；

根据所述组初始输出得分将最高得分的输出选择为所述目标序列中的第一个输出；

对于在所述目标序列中增加的每个新输出：

使用所述第二神经网络来处理该新输出以产生一组下一输出得分；以及

根据该组下一输出得分将最高得分输出选择为所述目标序列中的下一新输出。

2.根据权利要求1所述的方法，其中，所述输入序列是可变长度输入序列。

3.根据权利要求1或2所述的方法，其中，所述可替换表示是固定维度的向量。

4.根据权利要求1或2所述的方法，其中，处理所述输入序列包括：

将句尾标志增加到所述输入序列的末尾以产生经修改的输入序列；以及

使用所述第一神经网络处理所述经修改的输入序列。

5.根据权利要求1所述的方法，其中，使用所述第二神经网络处理所述输入序列的所述可替换表示包括：

使用所述第二神经网络处理所述输入序列的所述可替换表示以为一组可能目标序列的每一个产生相应的序列得分；以及

将具有最高序列得分的可能目标序列选择为所述输入序列的所述目标序列。

6.根据权利要求5所述的方法，其中，所述一组可能目标序列包括长度变化的可能目标序列。

7.根据权利要求5或6所述的方法，其中，使用所述第二神经网络处理所述输入序列的所述可替换表示包括：

使用应用左到右集束搜索解码的所述第二神经网络处理所述可替换表示。

8.根据权利要求1、2、5、6任意一项所述的方法，进一步包括：

使用随机梯度下降训练所述第一神经网络和所述第二神经网络。

9.根据权利要求1、2、5、6任意一项所述的方法，其中，所述输入序列是所述第一语言的词语的序列，并且所述目标序列是所述词语的序列到第二语言的翻译。

10.根据权利要求1、2、5、6任意一项所述的方法，其中，所述输入序列是所述第一语言的词语的序列，并且所述目标序列是所述输入序列的自动编码。

11.根据权利要求1、2、5、6任意一项所述的方法，其中，所述输入序列是所述第一语言的字形的序列，并且所述目标序列是所述字形的序列的音素表示。

12.一种系统，包括一个或多个计算机和存储指令的一个或多个储存设备，所述指令当由所述一个或多个计算机执行时，使得所述一个或多个计算机执行根据权利要求1至11任意一项所述的方法的操作。

13.一种编码有指令的非暂时性计算机可读储存介质，所述指令当由一个或多个计算机执行时，使得所述一个或多个计算机执行根据权利要求1至11任意一项所述的方法的操作。