[发明专利]翻译处理方法、装置、设备及介质有效
申请号: | 202110888353.X | 申请日: | 2021-08-03 |
公开(公告)号: | CN113591498B | 公开(公告)日: | 2023-10-03 |
发明(设计)人: | 孙泽维;王明轩;李磊 | 申请(专利权)人: | 北京有竹居网络技术有限公司 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06F40/211;G06F40/30 |
代理公司: | 北京开阳星知识产权代理有限公司 11710 | 代理人: | 王艳斌 |
地址: | 101299 北京市平*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 翻译 处理 方法 装置 设备 介质 | ||
1.一种翻译处理方法,其特征在于,包括:
根据多种语言中各语言的单语语料库训练生成多语言表示模型,以及根据所述各语言的单语语料库生成多语言生成模型;
将所述多语言表示模型和所述多语言生成模型分别与第一翻译模型拼接,生成待训练的目标模型;
根据所述多种语言中的双语语料库训练所述目标模型生成第二翻译模型,根据所述第二翻译模型对待处理的目标信息进行翻译处理。
2.根据权利要求1所述的方法,其特征在于,所述根据多种语言中各语言的单语语料库训练生成多语言表示模型,包括:
获取所述各语言的单语语料库中的语料包含空缺槽位信息,并获取标注的与所述空缺槽位信息对应的填补信息;
根据所述包含空缺槽位信息的单语语料和对应的所述填补信息的语料,以及预设的第一损失函数训练预设模型的模型参数生成所述多语言表示模型。
3.根据权利要求1所述的方法,其特征在于,所述根据所述各语言的单语语料库生成多语言生成模型,包括:
获取所述各语言的单语语料库中的语料包含预测的下一个槽位信息,并获取标注的与所述预测的下一个槽位信息对应的预测信息;
根据所述包含所述预测的下一个槽位信息的单语语料和对应的所述预测信息的语料,以及预设的第二损失函数训练预设模型的模型参数生成所述多语言生成模型。
4.根据权利要求1所述的方法,其特征在于,所述多语言表示模型包含一个或者多个表示子层级联,其中,每个所述表示子层包括:自注意力层与前馈网络层连接。
5.根据权利要求4所述的方法,其特征在于,所述多语言生成模型包含一个或者多个生成子层级联,其中,每个所述生成子层包括:自注意力层与前馈网络层连接。
6.根据权利要求5所述的方法,其特征在于,所述第一翻译模型包括编码器、解码器和输出层,其中,
所述编码器包括:一个或者多个编码子层级联,其中,每个所述编码子层包括:自注意力层与前馈网络层连接;
所述解码器包括一个或者多个解码子层级联,其中,每个所述解码子层包括:自注意力层与跨语言注意力层连接,所述跨语言注意力层和前馈网络连接,
其中,最后一个所述编码子层中的前馈网络层与最后一个所述解码子层中的跨语言注意力层连接。
7.根据权利要求6所述的方法,其特征在于,所述将所述多语言表示模型和所述多语言生成模型分别与第一翻译模型拼接,生成待训练的目标模型,包括:
将所述多语言表示模型中最后一个所述表示子层中的前馈网络层与所述编码器中第一个所述编码子层中的自注意力层连接,以及
将所述多语言生成模型中最后一个所述生成子层中的前馈网络层与所述解码器中第一个所述解码子层的自注意力层连接,以及将所述多语言生成模型与所述输出层连接,生成待训练的目标模型。
8.根据权利要求1所述的方法,其特征在于,所述根据所述多种语言中的双语语料库训练所述目标模型生成第二翻译模型,包括:
根据所述多种语言中的双语语料库以及预设的第三损失函数训练所述目标模型中所述多语言表示模型和所述第一翻译模型的模型参数;
根据训练后所述多语言表示模型和所述第一翻译模型的模型参数和训练前所述多语言生成模型的模型参数生成第二翻译模型。
9.一种翻译处理装置,其特征在于,包括:
第一生成模块,用于根据多种语言中各语言的单语语料库训练生成多语言表示模型,以及根据所述各语言的单语语料库生成多语言生成模型;
第二生成模块,用于将所述多语言表示模型和所述多语言生成模型分别与第一翻译模型拼接,生成待训练的目标模型;
第三生成模块,用于根据所述多种语言中的双语语料库训练所述目标模型生成第二翻译模型,根据所述第二翻译模型对待处理的目标信息进行翻译处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京有竹居网络技术有限公司,未经北京有竹居网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110888353.X/1.html,转载请声明来源钻瓜专利网。