[发明专利]基于注意力的序列转换神经网络

权利要求书

1.一种包括一个或多个计算机和存储指令的一个或多个存储设备的系统，当所述指令由所述一个或多个计算机执行时，使得所述一个或多个计算机实施用于将具有按照输入顺序的多个输入位置中的每一个输入位置处的各自的网络输入的输入序列转换为具有按照输出顺序的多个输出位置中的每一个输出位置处的各自的网络输出的输出序列的序列转换神经网络，所述序列转换神经网络包括：

编码器神经网络，被配置为接收输入序列并生成输入序列中的每个网络输入的各自的编码表示，所述编码器神经网络包括一个或多个编码器子网的序列，每个编码器子网被配置为接收多个输入位置中的每一个输入位置的各自的编码器子网输入，并生成多个输入位置中的每一个输入位置的各自的子网输出，并且每个编码器子网包括：

编码器自注意力子层，被配置为接收多个输入位置中的每一个输入位置的子网输入，并且对于按照输入顺序的每个特定输入位置：

使用从特定输入位置处的编码器子网输入导出的一个或多个查询，在输入位置处的编码器子网输入上应用注意力机制，以生成特定输入位置的各自的输出；和

解码器神经网络，被配置为接收编码表示并生成输出序列。

2.根据权利要求1所述的系统，其中，所述编码器神经网络还包括：

嵌入层，被配置为：

对于输入序列中的每个网络输入，

将网络输入映射到网络输入的嵌入表示，以及

将网络输入的嵌入表示与网络输入的输入位置的位置嵌入按照输入顺序进行组合，以生成网络输入的组合嵌入表示；以及

提供网络输入的组合嵌入表示作为所述编码器子网的序列中的第一编码器子网的编码器子网输入。

3.根据权利要求1或2中任一项所述的系统，其中，所述网络输入的各自的编码表示是由所述序列中的最后的编码器子网生成的编码器子网输出。

4.根据权利要求1-3中任一项所述的系统，其中，对于所述序列中除第一编码器子网之外的每个编码器子网，编码器子网输入是所述序列中在前的编码器子网的编码器子网输出。

5.根据权利要求1-4中任一项所述的系统，其中，所述编码器子网中的至少一个还包括：

按位置前馈层，被配置为：

对于每个输入位置：

接收输入位置处的输入，以及

对输入位置处的输入应用变换的序列，以生成输入位置的输出。

6.根据权利要求5所述的系统，其中，所述序列包括由激活函数分开的两个学习的线性变换。

7.根据权利要求5或6中任一项所述的系统，其中，所述至少一个编码器子网还包括：

残余连接层，其将按位置前馈层的输出与对按位置前馈层的输入进行组合，以生成编码器按位置残余输出，以及

层归一化层，其将层归一化应用于编码器按位置残余输出。

8.根据权利要求1-7中任一项所述的系统，其中，每个编码器子网还包括：

残余连接层，其将编码器自注意力子层的输出与编码器自注意力子层的输入进行组合，以生成编码器自注意力残余输出，以及

层归一化层，其将层归一化应用于编码器自注意力残余输出。

9.根据权利要求1-8中任一项所述的系统，其中，每个编码器自注意力子层包括多个编码器自注意力层。