[发明专利]使用神经网络产生输入序列的表示的方法、系统和介质

说明书

本发明涉及使用神经网络产生输入序列的表示的方法、系统、装置及计算机程序。方法之一包括获得输入序列，所述输入序列包括根据输入顺序排列的多个输入；使用第一长短期记忆(LSTM)神经网络处理所述输入序列，以将所述输入序列转换为输入序列的可替换表示；以及使用第二LSTM神经网络处理输入序列的可替换表示，以产生输入序列的目标序列，所述目标序列包括根据输出顺序排列的多个输出。

技术领域

本说明书涉及使用神经网络产生输入序列的表示。

许多数据处理任务包含将输入的有序序列转换为输出的有序序列。例如，机器翻译系统将一种语言的词语的输入序列翻译为另一种语言的词语的序列。作为另一个示例，发音系统将字形的输入序列转换为音素的目标序列。

发明内容

本说明书说明了在一个或多个地点的一个或多个计算机上实施为计算机程序的系统如何将输入序列转换为是输入序列的表示的目标序列，例如不同形式的输入序列的表示。

可以实施本说明书中所述主题的具体实施例以便实现一个或多个以下优点。可以准确预测是不同形式的输入序列的表示的目标序列。例如，机器翻译系统可以准确预测对所接收的词语的序列的翻译。作为另一个示例，字形-音素系统可以准确预测表示所接收的字形的序列的音素的序列。作为另一个示例，自动编码器系统可以准确自动编码所接收的序列。

在以下附图和说明中阐述了本说明书中所述主题的一个或多个实施例的细节。依据说明、附图和权利要求书，主题的其他特征、方面和优点会是显而易见的。

附图说明

图1示出了示例序列表示系统。

图2是产生输入序列的目标表示的流程图。

图3是用于使用解码器LSTM神经网络产生目标序列的示例过程的流程图。

图4是用于使用解码器LSTM神经网络执行集束搜索(beam search)解码的示例过程的流程图。

不同附图中相似的附图标记和命名指示相似的要素。

具体实施方式

图1示出了示例序列表示系统100。序列表示系统100是在一个或多个地点的一个或多个计算机上实施为计算机程序的系统的示例，在其中可以实施下述的系统、组件和技术。

序列表示系统100接收输入序列，并且将输入序列转换为目标序列。每一个目标序列都是输入序列的表示，例如输入序列不同形式的表示。例如，序列表示系统100可以接收输入序列102，和产生输入序列102的目标序列122。输入序列102的目标序列122是序列表示系统100分类为表示输入序列的输出的有序序列。例如，如果输入序列102是源语言的词语的序列，例如句子或段落，由序列表示系统100产生的目标序列122可以是输入序列到目标语言的翻译，即目标语言的词语的序列，其表示源语言的词语的序列。作为另一个示例，如果输入序列102是字形的序列，例如序列{g,o,o,g,l,e}，由序列表示系统100产生的目标序列122可以是输入序列的音素表示，例如序列{g,uh,g,ax,l}。

通常，由序列表示系统100接收的输入序列和由序列表示系统100产生的目标序列是可变长度的序列，即分别为可以包含变化数量的输入和输出的序列。另外，由序列表示系统100产生的目标序列中的输出的数量可以与从中产生目标序列的输入序列中的输入的数量相同或不同。

序列表示系统100包括编码器长短期记忆(LSTM)神经网络110和解码器LSTM神经网络120。

作为从输入序列产生目标序列的部分，序列表示系统100使用编码器LSTM神经网络110处理输入序列，以产生输入序列的可替换表示，例如输入序列102的可替换表示112。