[发明专利]文本翻译方法、装置、存储介质和计算机设备有效
申请号: | 201910228498.X | 申请日: | 2019-03-25 |
公开(公告)号: | CN109948166B | 公开(公告)日: | 2021-03-02 |
发明(设计)人: | 王龙跃;涂兆鹏;王星;史树明 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06F40/30 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 李文渊;何平 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 翻译 方法 装置 存储 介质 计算机 设备 | ||
1.一种文本翻译方法,包括:
获取源文本的词序列;所述源文本为指代词缺略文本;
通过机器翻译模型中的编码器,对所述源文本的词序列进行语义编码,得到源端向量序列;
通过所述机器翻译模型中的解码器,对所述源端向量序列进行解码处理,得到候选译文、各所述候选译文对应的目标端向量序列、及各所述候选译文对应的翻译得分;
通过所述机器翻译模型中的重构器,将所述词序列和所述源端向量序列,与各所述目标端向量序列分别进行重构处理,得到与各所述候选译文分别对应的重构隐层向量序列;所述重构处理是将源端向量序列和目标端向量序列重构回源文本的处理;所述重构隐层向量序列包括所述源文本所缺少的指代词的词信息,所述指代词的词信息包括指代词的位置信息和指代词的词本身;
通过所述机器翻译模型中的重构器,将所述源文本的词序列,与各所述重构隐层向量序列分别进行重构评估处理,得到与各所述候选译文分别对应的重构得分;
从所述候选译文中筛选相应翻译得分和重构得分满足预设条件的目标译文;
其中,所述机器翻译模型通过以下步骤训练得到:
获取样本源文本、参考目标译文、以及与所述源文本对应的标注词序列;所述标注词序列是对所述样本源文本进行缺略词标注处理所得到的词序列;
将所述样本源文本输入机器翻译模型中进行训练,得到预测目标译文;
依据所述参考目标译文和预测目标译文构建最大似然函数;
通过所述机器翻译模型,获取与所述样本源文本对应的源端样本向量序列、以及目标端样本向量序列;
通过所述机器翻译模型中的重构器,依据所述样本源文本,对所述源端样本向量序列、以及目标端样本向量序列进行重构处理,得到样本重构隐层向量序列;
依据所述样本源文本、所述样本重构隐层向量序列、所述源端样本向量序列、以及所述目标端样本向量序列构建重构评估函数,所述重构评估函数用于衡量缺略词的词信息召回程度,辅助机器翻译模型的重构器所输出的重构隐层向量序列学习得到关于缺略词的词信息;
依据所述标注词序列和所述样本重构隐层向量序列,构建词序列标注损失函数,所述标注词序列用于在模型训练时引导所述重构器在生成对应的重构隐层向量序列学习到指代词的词信息;
根据所述最大似然函数、所述重构评估函数和所述词序列标注损失函数,确定目标函数;
将所述目标函数最大化时的模型参数作为机器翻译模型的模型参数,返回所述将所述样本源文本输入机器翻译模型中进行训练,得到预测目标译文的步骤并继续训练,直至满足训练停止条件时停止训练。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述源文本对应的篇章文本;
对所述篇章文本进行编码处理,得到篇章向量;
将所述篇章向量,与各所述重构隐层向量序列分别进行融合,得到与各所述候选译文分别对应的第一融合向量序列;
所述将所述源文本的词序列,与各所述重构隐层向量序列分别进行重构评估处理,得到与各所述候选译文分别对应的重构得分,包括:
将所述源文本的词序列,与各所述第一融合向量序列分别进行重构评估处理,得到与各所述候选译文分别对应的重构得分。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取与所述源文本对应的篇章文本;
对所述篇章文本进行编码处理,得到篇章向量;
将所述篇章向量,与各所述目标端向量序列分别进行融合,得到与各所述候选译文分别对应的第二融合向量序列;
所述将所述词序列和所述源端向量序列,与各所述目标端向量序列分别进行重构处理,得到与各所述候选译文分别对应的重构隐层向量序列,包括:
将所述词序列和所述源端向量序列,与各所述第二融合向量序列分别进行重构处理,得到与各所述候选译文分别对应的重构隐层向量序列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910228498.X/1.html,转载请声明来源钻瓜专利网。