[发明专利]翻译训练数据生成方法、装置、计算机设备及存储介质有效

专利信息
申请号: 202010078640.X 申请日: 2020-02-03
公开(公告)号: CN111325038B 公开(公告)日: 2023-08-18
发明(设计)人: 俞春龙 申请(专利权)人: 苏州交驰人工智能研究院有限公司
主分类号: G06F40/42 分类号: G06F40/42;G06F18/214
代理公司: 北京品源专利代理有限公司 11332 代理人: 孟金喆
地址: 215000 江苏省苏州市中国(江苏)自由贸*** 国省代码: 江苏;32
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 翻译 训练 数据 生成 方法 装置 计算机 设备 存储 介质
【权利要求书】:

1.一种翻译训练数据生成方法,其特征在于,包括:

对预先训练的至少一个翻译模型进行翻译质量评估,确定满足翻译质量低条件的目标数据类型,各所述翻译模型通过初始训练语料训练得到;

获取与所述目标数据类型匹配的目标训练语料,以对各所述翻译模型继续训练,所述目标训练语料与所述初始训练语料不同;

所述对预先训练的至少一个翻译模型进行翻译质量评估,确定满足翻译质量低条件的目标数据类型,包括:

获取多个测试集,不同测试集中数据的数据类型不同;

分别根据测试集对预先训练的至少一个翻译模型进行翻译质量评估;

根据各所述测试集的翻译质量评估结果,以及各所述测试集对应的数据类型,确定计翻译质量评估结果低于设定评估阈值的数据类型,作为满足翻译质量低条件的目标数据类型;

所述根据各所述测试集的翻译质量评估结果是:

选择测试集中任意一条数据,该条数据实际是一个数据对,并选择一个翻译模型,从该数据对中的源语种的数据输入到该翻译模型中,得到该翻译模型中输出的译文,与该数据对中的目标语种的数据进行相似度计算,得到该翻译模型针对该条数据的质量评估结果,其中,不同翻译模型的源语种和目标语种不同。

2.根据权利要求1所述的方法,其特征在于,所述至少一个翻译模型包括正向翻译模型和反向翻译模型;

所述获取与所述目标数据类型匹配的目标训练语料,包括:

获取所述目标数据类型匹配的单语数据;

将所述单语数据输入到所述翻译模型中,得到输出的翻译数据,并结合所述单语数据,形成目标训练语料。

3.根据权利要求1所述的方法,其特征在于,在获取多个测试集之前,还包括:

获取测试数据;

将所述测试数据中的各条数据分别输入到预先训练的分类模型中,得到所述分类模型输出的各条数据匹配的数据类型;

按照数据类型对测试数据进行分类,形成不同数据类型的测试集。

4.根据权利要求1所述的方法,其特征在于,在对预先训练的至少一个翻译模型进行翻译质量评估之前,还包括:

获取所述初始训练语料,并对所述初始训练语料进行预处理,所述预处理包括下述至少一项:数据清洗、数据过滤、符号标准化和分词处理;

根据预处理得到的初始训练语料对各所述翻译模型进行训练。

5.根据权利要求1所述的方法,其特征在于,所述对预先训练的至少一个翻译模型进行翻译质量评估,包括:

根据双语评价研究算法BLEU对各所述翻译模型进行翻译质量评估。

6.根据权利要求1所述的方法,其特征在于,在获取与所述目标数据类型匹配的目标训练语料之后,还包括:

根据所述目标训练语料继续对各所述翻译模型进行训练;

将待翻译的源语种文本数据输入到训练后的目标翻译模型中,得到输出的目标语种文本数据,所述目标翻译模型用于将源语种文本翻译成目标语种文本。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州交驰人工智能研究院有限公司,未经苏州交驰人工智能研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010078640.X/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top