[发明专利]基于注意力的序列转换神经网络在审
| 申请号： | 201880007309.X | 申请日： | 2018-05-23 |
| 公开（公告）号： | CN110192206A | 公开（公告）日： | 2019-08-30 |
| 发明（设计）人： | N.M.沙泽尔;A.N.戈梅兹;L.M.凯瑟;J.D.乌兹科雷特;L.O.琼斯;N.J.帕马;I.波洛苏金;A.T.瓦斯瓦尼 | 申请（专利权）人： | 谷歌有限责任公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04 |
| 代理公司： | 北京市柳沈律师事务所 11105 | 代理人： | 金玉洁 |
| 地址： | 美国加利*** | 国省代码： | 美国;US |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 用于从输入序列生成输出序列的、包括编码在计算机存储介质上的计算机程序的方法、系统和装置。在一个方面，系统中的一个包括被配置为接收输入序列并生成网络输入的编码表示的编码器神经网络，编码器神经网络包括一个或多个编码器子网的序列，每个编码器子网被配置为接收输入位置中的每一个的各自的编码器子网输入并生成输入位置中的每一个的各自的子网输出，并且每个编码器子网包括：编码器自注意力子层，被配置为接收输入位置中的每一个的子网输入，并且对于按照输入顺序的每个特定输入位置：使用从特定输入位置处的编码器子网输入导出的一个或多个查询，在编码器子网输入上应用注意力机制。 | ||
| 搜索关键词： | 编码器 子网 神经网络 输入位置 接收输入 注意力 配置 计算机存储介质 接收输入序列 计算机程序 注意力机制 编码表示 输出序列 输入顺序 输入序列 序列转换 导出 子层 查询 输出 网络 应用 | ||
【主权项】：
1.一种包括一个或多个计算机和存储指令的一个或多个存储设备的系统，当所述指令由所述一个或多个计算机执行时，使得所述一个或多个计算机实施用于将具有按照输入顺序的多个输入位置中的每一个输入位置处的各自的网络输入的输入序列转换为具有按照输出顺序的多个输出位置中的每一个输出位置处的各自的网络输出的输出序列的序列转换神经网络，所述序列转换神经网络包括：编码器神经网络，被配置为接收输入序列并生成输入序列中的每个网络输入的各自的编码表示，所述编码器神经网络包括一个或多个编码器子网的序列，每个编码器子网被配置为接收多个输入位置中的每一个输入位置的各自的编码器子网输入，并生成多个输入位置中的每一个输入位置的各自的子网输出，并且每个编码器子网包括：编码器自注意力子层，被配置为接收多个输入位置中的每一个输入位置的子网输入，并且对于按照输入顺序的每个特定输入位置：使用从特定输入位置处的编码器子网输入导出的一个或多个查询，在输入位置处的编码器子网输入上应用注意力机制，以生成特定输入位置的各自的输出；和解码器神经网络，被配置为接收编码表示并生成输出序列。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司，未经谷歌有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201880007309.X/，转载请声明来源钻瓜专利网。
- 上一篇：镜像损失神经网络
- 下一篇：共享物理图形的信号片段
