[发明专利]一种基于Transformer模型的层融合方法及计算机设备在审
| 申请号： | 201910923998.5 | 申请日： | 2019-09-27 |
| 公开（公告）号： | CN110674647A | 公开（公告）日： | 2020-01-10 |
| 发明（设计）人： | 闫明明;罗华成;陈绪浩;赵宇;段世豪 | 申请（专利权）人： | 电子科技大学 |
| 主分类号： | G06F40/58 | 分类号： | G06F40/58 |
| 代理公司： | 51126 成都中亚专利代理有限公司 | 代理人： | 王岗 |
| 地址： | 611731 四川省成*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Transformer模型的层融合方法及计算机设备，首先将源语言词向量输入给Transformer模型，经过编码器与解码器的转换，让Transformer模型产生原始结构的输出；然后运用层融合方法将编码器或者解码器的第一层与第二层的输出语义向量利用融合矩阵进行融合构成新的输出语义向量，并利用该新的输出与第三层输出语义向量进行融合；再利用融合得到的输出与第四层输出进行融合，依次递推直到得到最后的融合输出，并将该融合输出作为模型的最终输出；最终输出词向量再经过softmax转换得到目标语言文本。与典型的Transformer模型相比，该发明具有额外的融合层次结构，利用了所有层的语义信息，提高了层次信息的利用率，同时也有效地提高了翻译的准确性。 | ||
| 搜索关键词： | 输出 融合 语义向量 解码器 编码器 矩阵 目标语言文本 计算机设备 层次结构 层次信息 模型产生 语义信息 原始结构 词向量 第三层 第一层 有效地 再利用 转换 递推 向量 翻译 | ||
【主权项】：
1.一种基于Transformer模型的层融合方法，应用于基于注意力机制的Transformer模型上，其特征在于；包括如下步骤：/n(1)将源语言词向量输入给Transformer模型，经过编码器与解码器的转换，让Transformer模型产生原始结构的输出，假设编码器或者解码器的每一层的输出语义向量分别为output
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于电子科技大学，未经电子科技大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910923998.5/，转载请声明来源钻瓜专利网。
