[发明专利]一种基于说话人特征的个性化语音翻译方法和装置

说明书

本发明公开了一种基于说话人特征的个性化语音翻译方法，包括以下步骤：采集说话人语音，提取说话人语音的语音声学特征，并转化为说话人特征向量；说话人特征向量结合说话人语音声学特征进行说话人文本识别；将说话人的文本翻译成目标语言的文本；将上一步生成的目标语言的文本编码结合第一步生成的说话人特征向量，得到带有说话人特征的目标文本向量；通过文本转语音模型将上一步生成的目标文本向量生成目标语音。本发明通过加入说话人特征提取网络，可以将不同说话人语气语调加入语音识别和文本转语音的过程中，帮助更加精确的翻译说话人的意思。本发明还公开一种基于说话人特征的个性化语音翻译装置。

技术领域

本发明涉及语音翻译技术领域，尤其涉及一种基于说话人特征的个性化语音翻译方法和装置。

背景技术

随着全球化的发展，不同国家交流的增加，实时语音翻译的重要性越来越大，传统的语音翻译当说话人语气发生变化时，有可能无法表达说话人的意思，以及不同的地区对某些单词可能存在不同的发音，个性化翻译的重要性就体现了出来。

同时在翻译过程中，有可能出现因为说话人的口音语调的不同导致翻译出的结果跟实际的应用结果有不同的情况，比如说话者要表达的信息是“附近有卖热狗的吗？”，而经过语音识别可能会错误识别成“附近有卖芒果的吗？”，这就要求对说话人的说话特征进行区别，对不同的说话人采用不同的识别系统。

在现有技术中CN108447486提供了一种个性化翻译的方式，该方法通过提取目标发音人的声学特征，结合识别后的文本特征完成个性化翻译，使得生成的语音具有目标发音人的说话特征。但是在发音人的语音识别过程中无法避免不同人物说话口音不同所带来的翻译上的误差。

在现有技术中CN 108231062 A提供了一种通过说话人的发音特征进行个性化翻译的方法，该方法通过提取说话人特征结合语音识别的文本进行翻译，解决了翻译上不同人的特征问题，但是没有实现文本转语音的个性化生成。

综上所述，现有的个性化翻译技术，要么只在翻译端实现个性化，要么在合成端实现个性化，没有解决将说话人特征应用于从说话人语音到文本再到语音的整个个性化翻译系统的问题。

发明内容

本发明提供了一种基于说话人特征的个性化语音翻译方法和装置，以解决现有技术中没有解决将说话人特征应用于从说话人语音到文本再到语音的整个个性化翻译系统的问题。

本发明采用的技术方案是：提供一种基于说话人特征的个性化语音翻译方法，包括以下步骤：

步骤1、采集说话人语音，提取说话人语音的语音声学特征，并转化为说话人特征向量；

步骤2、说话人特征向量结合说话人语音声学特征进行说话人文本识别；

步骤3、将说话人的文本翻译成目标语言的文本；

步骤4、将步骤3生成的目标语言的文本编码结合步骤1生成的说话人特征向量，得到带有说话人特征的目标文本向量；

步骤5、通过文本转语音模型将步骤4生成的目标文本向量生成目标语音。

优选地，步骤1中，提取说话人语音的语音声学特征的方法，包括：

说话人的声音进行加窗傅里叶变化得到线性特征，再通过梅尔滤波处理得到说话人语音声学特征。

优选地，步骤1中，说话人语音的语音声学特征转化为说话人特征向量的方法，包括：

通过不同人物语音样本训练的语音特征识别模型，该语音特征识别模型至少包括深度神经网络；

将步骤1中提取的说话人语音的语音声学特征输入所述语音特征识别模型，得到说话人特征向量。