[发明专利]多机制合并注意力的多路径神经机器翻译方法在审
申请号: | 202011209086.0 | 申请日: | 2020-11-03 |
公开(公告)号: | CN112329483A | 公开(公告)日: | 2021-02-05 |
发明(设计)人: | 范洪博;郑棋 | 申请(专利权)人: | 昆明理工大学 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06F40/211;G06F40/289;G06N3/04;G06N3/08 |
代理公司: | 昆明人从众知识产权代理有限公司 53204 | 代理人: | 李晓亚 |
地址: | 650093 云*** | 国省代码: | 云南;53 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种多机制合并注意力的多路径神经机器翻译方法,属于自然语言处理领域。本发明由CNN翻译机制、Transformer翻译机制、Tree‑Transformer翻译机制独自生成自身的注意力值,并将计算出来的注意力值进行加权累加,然后对齐并进行归一化形成新的注意力值,并传送给解码器的Dec‑Enc attention layer,使各翻译机制完成后续的机器翻译过程得到解码key‑value矩阵。采用各机制生成的解码key‑value矩阵进行加权叠加与归一化,通过线性变换层和softmax层,生成目标译文。本发明的多机制注意力叠加并归一化的过程,可以有效集成多种算法的分析能力,所形成的注意力和理论的真实注意力更加贴近,从而获得更好的翻译效果,可以有效提高翻译的准确度。 | ||
搜索关键词: | 机制 合并 注意力 路径 神经 机器翻译 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于昆明理工大学,未经昆明理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202011209086.0/,转载请声明来源钻瓜专利网。
- 上一篇:一种可自动清洗的固液分离式厨房专用垃圾桶
- 下一篇:一种全自动包粽子装置