[发明专利]一种机器翻译模型的训练方法及装置有效
申请号: | 201711445673.8 | 申请日: | 2017-12-27 |
公开(公告)号: | CN109977424B | 公开(公告)日: | 2023-08-08 |
发明(设计)人: | 施亮亮;王宇光;姜里羊;阳家俊;李响;卫林钰;陈伟 | 申请(专利权)人: | 北京搜狗科技发展有限公司 |
主分类号: | G06F40/44 | 分类号: | G06F40/44;G06F40/58 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 100084 北京市海淀区中关*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 机器翻译 模型 训练 方法 装置 | ||
1.一种机器翻译模型的训练方法,其特征在于,包括:
获取多个第一双语句对;所述第一双语句对,包括:待翻译语句,以及与所述待翻译语句对应的译文语句;
对所述多个第一双语句对中每个第一双语句对进行概率计算,若有第一双语句对命中一预设概率,则删除命中一预设概率的第一双语句对中的标点符号,获得第二双语句对;所述第二双语句对包括未删除标点符号的双语句对和删除了标点符号的双语句对;所述标点符号,包括:位于所述第一双语句对的固定位置处的标点符号;
将所述第二双语句对作为训练样本输入到深度神经网络模型中进行学习训练,得到机器翻译模型,使所述机器翻译模型学习到未删除标点符号的和删除了标点符号的两种双语句对;
所述删除命中一预设概率的第一双语句对中的标点符号,获得第二双语句对,包括:
随机或按照预设规律删除命中第一预设概率的第一双语句对中待翻译语句中的第一标点符号,获得第二双语句对;或
随机或按照预设规律删除命中第一预设概率的第一双语句对中待翻译语句中的第一标点符号,随机或按照预设规律删除命中第二预设概率的第一双语句对中译文语句中的第二标点符号,获得第二双语句对;或
删除命中一预设概率的第一双语句对中待翻译语句中的第一标点符号,获得第二双语句对;或
删除命中一预设概率的第一双语句对中待翻译语句中的第一标点符号,以及删除所述命中一预设概率的第一双语句对中译文语句中的第二标点符号,获得第二双语句对;
其中,所述预设概率的取值范围为35%~95%,所述第一预设概率的取值范围为35%~95%,所述第二预设概率的取值范围为35%~95%。
2.如权利要求1所述的机器翻译模型的训练方法,其特征在于,所述第一标点符号位于所述待翻译语句的末尾,所述第二标点符号位于所述译文语句的末尾。
3.如权利要求1所述的机器翻译模型的训练方法,其特征在于,所述第一标点符号或所述第二标点符号,包括:
句号、问号、感叹号或省略号。
4.一种机器翻译模型的训练装置,其特征在于,包括:
获取单元,用于获取多个第一双语句对;所述第一双语句对,包括:待翻译语句,以及与所述待翻译语句对应的译文语句;
删除单元,用于对所述多个第一双语句对中每个第一双语句对进行概率计算,若有第一双语句对命中一预设概率,则删除命中一预设概率的第一双语句对中的标点符号,获得第二双语句对;所述第二双语句对包括未删除标点符号的双语句对和删除了标点符号的双语句对;所述标点符号,包括:位于所述第一双语句对的固定位置处的标点符号;
训练单元,用于将所述第二双语句对作为训练样本输入到深度神经网络模型中进行学习训练,得到机器翻译模型,使所述机器翻译模型学习到未删除标点符号的和删除了标点符号的两种双语句对;
所述删除命中所述一预设概率的第一双语句对中的标点符号,获得第二双语句对,包括:
随机或按照预设规律删除命中第一预设概率的第一双语句对中待翻译语句中的第一标点符号,获得第二双语句对;或
随机或按照预设规律删除命中第一预设概率的第一双语句对中待翻译语句中的第一标点符号,随机或按照预设规律删除命中第二预设概率的第一双语句对中译文语句中的第二标点符号,获得第二双语句对;或
删除命中一预设概率的第一双语句对中待翻译语句中的第一标点符号,获得第二双语句对;或
删除命中一预设概率的第一双语句对中待翻译语句中的第一标点符号,以及删除所述命中一预设概率的第一双语句对中译文语句中的第二标点符号,获得第二双语句对;
其中,所述预设概率的取值范围为35%~95%,所述第一预设概率的取值范围为35%~95%,所述第二预设概率的取值范围为35%~95%。
5.如权利要求4所述的机器翻译模型的训练装置,其特征在于,所述第一标点符号位于所述待翻译语句的末尾,所述第二标点符号位于所述译文语句的末尾。
6.如权利要求4所述的机器翻译模型的训练装置,其特征在于,所述第一标点符号或所述第二标点符号,包括:
句号、问号、感叹号或省略号。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京搜狗科技发展有限公司,未经北京搜狗科技发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711445673.8/1.html,转载请声明来源钻瓜专利网。