[发明专利]一种检测语音翻译系统中不流畅现象的方法及系统在审
申请号: | 201810949635.4 | 申请日: | 2018-08-20 |
公开(公告)号: | CN110858268A | 公开(公告)日: | 2020-03-03 |
发明(设计)人: | 王峰 | 申请(专利权)人: | 北京紫冬认知科技有限公司 |
主分类号: | G06F40/205 | 分类号: | G06F40/205;G06F40/289;G06F40/30;G06F40/253;G06F40/58 |
代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 陈英 |
地址: | 100190 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 检测 语音 翻译 系统 流畅 现象 方法 | ||
1.一种检测语音翻译系统中不流畅现象的方法,其特征在于,所述方法包括:
获取待检测的源文本数据;
对所述源文本数据进行预处理及向量化处理,得到每句源文本数据的词向量序列;
将所述源文本数据的词向量序列输入预先训练好的不流畅检测模型,得到不流畅检测模型的输出结果;
根据所述不流畅检测模型的输出结果,得到所述源文本数据对应的流畅目标文本数据和不流畅标注结果。
2.根据权利要求1所述的方法,其特征在于,所述不流畅检测模型的网络结构包括编码器和解码器;
所述不流畅检测模型的训练包括:
获取带不流畅标注的文本数据样本和与所述文本数据样本对应的流畅文本数据;
分别对所述文本数据样本和流畅文本数据进行预处理及向量化处理,得到所述文本数据样本的词向量序列和所述流畅文本数据的词向量序列;
将所述文本数据样本的词向量序列输入所述编码器,得到所述文本数据样本的词编码向量;
将所述文本数据样本的词编码向量及对应的流畅文本数据输入所述解码器,得到目标文本序列;
利用所述目标文本序列与对应的流畅文本数据的词向量序列之间的损失函数对不流畅检测模型进行训练。
3.根据权利要求2所述的方法,其特征在于,所述获取带不流畅标注的文本数据样本和与所述文本数据样本对应的流畅文本数据,包括:
收集大量真实训练数据,所述真实训练数据包括带不流畅标注的文本数据及对应的流畅文本数据;
收集大量流畅的无标注文本数据,对所述无标注文本数据进行预处理及向量化处理,得到每句无标注文本数据的词向量序列;
将每句无标注文本数据的词向量序列输入预先训练好的反翻译模型,输出不流畅的目标文本数据;
对所述不流畅的目标文本数据进行筛选,得到增广训练数据;
将所述真实训练数据和所述增广训练数据组合成训练数据,所述训练数据包括带不流畅标注的文本数据样本和对应的流畅文本数据。
4.根据权利要求3所述的方法,其特征在于,根据所述不流畅检测模型的输出结果,得到所述源文本数据对应的流畅目标文本数据和不流畅标注结果,包括:
将不流畅检测模型的输出结果输入预先训练好的流畅端语言模型,计算所述不流畅检测模型的输出结果的得分;
比较所述不流畅检测模型的输出结果的得分,得到得分最高的不流畅检测模型的输出结果;
根据所述得分最高的不流畅检测模型的输出结果,得到最终的所述源文本数据对应流畅目标文本数据和不流畅标注结果。
5.根据权利要求4所述的方法,其特征在于,所述流畅端语言模型的训练包括:
以所述训练数据中的所述流畅文本数据作为训练语料,利用所述训练语料和kenlm工具训练流畅端语言模型。
6.根据权利要求3所述的方法,其特征在于,所述反翻译模型的网络结构包括编码器和解码器,所述反翻译模型的训练包括:
获取流畅的文本数据样本和与所述流畅的文本数据样本对应的带不流畅标注的文本数据;
分别对所述流畅的文本数据样本和带不流畅标注的文本数据进行预处理及向量化处理,得到所述流畅的文本数据样本的词向量序列和所述带不流畅标注的文本数据的词向量序列;
将所述流畅的文本数据样本的词向量序列输入编码器,得到所述流畅的文本数据样本的词编码向量;
将所述流畅的文本数据样本的词编码向量及对应的带不流畅标注的文本数据输入解码器,得到不流畅的目标文本序列;
利用所述不流畅的目标文本序列与对应的所述带不流畅标注的文本数据的词向量序列之间的损失函数对反翻译模型进行训练。
7.根据权利要求1所述的方法,其特征在于,所述对所述源文本数据进行预处理包括:
对所述源文本数据按字切分,提取所述源文本数据的二元语法及三元语法特征;
根据所述源文本数据对应的语音信号提取韵律特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京紫冬认知科技有限公司,未经北京紫冬认知科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810949635.4/1.html,转载请声明来源钻瓜专利网。