[发明专利]翻译模型构建方法和装置有效
申请号: | 201811590009.7 | 申请日: | 2018-12-25 |
公开(公告)号: | CN109670190B | 公开(公告)日: | 2023-05-16 |
发明(设计)人: | 朱晓宁;张睿卿;何中军;吴华;王海峰 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06F18/214;G06F18/241 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 宋合成 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 翻译 模型 构建 方法 装置 | ||
1.一种翻译模型构建方法,其特征在于,包括:
在第一正例语料集中的翻译词对的数量小于阈值时,根据获取的第一正例语料集中的各翻译词对,随机生成负例语料集,其中,所述第一正例语料集及负例语料集中的翻译词对分别包括源语言及对应的目标语言,所述第一正例语料集中的翻译词对是互译词对,所述负例语料集中的翻译词对是非互译词对;
对所述第一正例语料集及所述负例语料集进行机器学习,以生成分类模型;
利用所述分类模型,将预设的翻译模型进行剪枝处理,以生成与所述源语言及目标语言对应的翻译模型;
其中,所述预设的翻译模型,为将第一翻译模型及第二翻译模型融合后得到的翻译模型,所述第一翻译模型为利用包括所述源语言与参考语言的第二正例语料集训练得到的、所述第二翻译模型为利用包括参考语言与所述目标语言的第三正例语料集训练得到的,其中,所述参考语言是除所述源语言与所述目标语言之外的语言,所述第二正例语料集中的翻译词词对包括所述源语言与所述参考语言,所述第三正例语料集中的翻译词词对包括所述参考语言与所述目标语言。
2.如权利要求1所述的方法,其特征在于,所述利用所述分类模型,将预设的翻译模型进行剪枝处理,包括:
将所述预设翻译模型中的双语数据库中的每个翻译词对分别输入所述分类模型中,以确定每个翻译词对为合法词对的概率;
根据获取的合法词对对所述预设的翻译模型进行剪枝处理。
3.如权利要求1所述的方法,其特征在于,所述对所述第一正例语料集及所述负例语料集进行机器学习之前,还包括:
对所述第一正例语料集及所述负例语料集中的每个翻译词对进行解析处理,以确定每个翻译词对的特征集;
所述利用所述分类模型,将预设的翻译模型进行剪枝处理之前,还包括:
对所述预设的翻译模型中的双语数据库中的每个翻译词对进行解析处理,以确定每个翻译词对的特征集。
4.如权利要求3所述的方法,其特征在于,所述每个翻译词对的特征集中包括以下特征中的至少一个:源语言短语长度、目标语言短语长度、翻译词对长度比及翻译词对互译概率值。
5.如权利要求1-4任一所述的方法,其特征在于,所述根据获取的第一正例语料集中的各翻译词对,随机生成负例语料集,包括:
将所述第一正例语料集的各翻译词对中的目标语言进行随机互换,生成所述负例语料集。
6.如权利要求1-4任一所述的方法,其特征在于,所述根据获取的第一正例语料集中的各翻译词对,随机生成负例语料集之前,还包括:
获取翻译模型构建请求,所述构建请求中包括源语言类型及目标语言类型;
根据所述源语言类型及目标语言类型,从语料库中获取第一正例语料集。
7.如权利要求6所述的方法,其特征在于,所述利用所述分类模型,将预设的翻译模型进行剪枝处理之前,还包括:
根据所述语料库中每种第一类翻译词对的数量及对应的第二类翻译词对的数量,确定目标参考语言;
其中,所述第一类翻译词对及对应的第二类翻译词对中包含的参考语言相同,第一类翻译词对包含所述源语言及对应的参考语言,所述第二类翻译词对中包参考语言及对应的目标语言;
利用包含所述参考语言的第一类翻译词对构成的第二正例语料集训练得到所述第一翻译模型,并利用包含所述参考语言的第二类翻译词对构成的第三正例语料集训练得到所述第二翻译模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811590009.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据处理方法及装置
- 下一篇:机器翻译的校准优化方法、装置与电子设备