[发明专利]一种应用于TTS的语音转换方法、装置、设备及介质在审
申请号: | 202210797918.8 | 申请日: | 2022-07-08 |
公开(公告)号: | CN114882891A | 公开(公告)日: | 2022-08-09 |
发明(设计)人: | 嵇望;曹禹;黄河 | 申请(专利权)人: | 杭州远传新业科技股份有限公司 |
主分类号: | G10L17/22 | 分类号: | G10L17/22;G10L17/04;G10L25/18;G10L25/24;H04M3/51 |
代理公司: | 杭州创智卓英知识产权代理事务所(普通合伙) 33324 | 代理人: | 刘宏全 |
地址: | 310051 浙江省杭州*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 应用于 tts 语音 转换 方法 装置 设备 介质 | ||
1.一种应用于TTS的语音转换方法,其特征在于,所述方法包括:
获取实时语音,将所述实时语音的说话人记为第一说话人;
查询所述TTS采用的说话人,记为第二说话人,并获取与所述第一说话人、所述第二说话人相关联的频谱转换模型;
提取所述实时语音的频谱参数和基频参数;
将所述实时语音的频谱参数输入所述频谱转换模型,得到与所述第二说话人对应的频谱参数,记为第二频谱参数;
将所述实时语音的基频参数转换为与所述第二说话人对应的基频参数,记为第二基频参数;
合成所述第二频谱参数和所述第二基频参数以得到待播语音,所述待播语音配合在所述TTS播放。
2.根据权利要求1所述的一种应用于TTS的语音转换方法,其特征在于,所述频谱参数包括:端点检测信息、基音周期估计信息、梅尔频率倒谱信息。
3.根据权利要求1所述的一种应用于TTS的语音转换方法,其特征在于,在所述获取实时语音之前,所述方法还包括:
自源语音库获取源语音,所述源语音库与所述第一说话人对应;
自目标语音库获取目标语音,所述目标语音与所述第二说话人对应,且所述源语音与所述目标语音对应同一文本;
分别提取所述源语音和所述目标语音的频谱参数,对应记为源频谱参数和目标频谱参数;
采用动态时间规整算法将所述源频谱参数对齐于所述目标频谱参数;
根据对齐后的源频谱参数和目标频谱参数训练所述频谱转换模型,以得到所述源频谱参数与所述目标频谱参数之间的转换关系。
4.根据权利要求3所述的一种应用于TTS的语音转换方法,其特征在于,所述方法还包括:
将所述实时语音转换为文本,记为待定文本;
将所述待定文本转换为与所述第二说话人对应的语音,记为待定语音;
提取所述待定语音的频谱参数;
判断所述待定语音的频谱参数与所述实时语音的频谱参数之间的相似度是否符合要求,若否,则将所述实时语音配合放入所述源语音库内,将所述待定语音放入所述目标语音库内,并重新训练所述频谱转换模型。
5.根据权利要求3所述的一种应用于TTS的语音转换方法,其特征在于,所述频谱转换模型基于混合高斯模型建立。
6.根据权利要求5所述的一种应用于TTS的语音转换方法,其特征在于,在得到待播语音之前,采用基于音素绑定的码本映射算法对所述混合高斯模型中转换函数的偏移量进行映射以重建丢失的细节。
7.根据权利要求1至6中任意一项所述的一种应用于TTS的语音转换方法,其特征在于,在所述获取实时语音之前,所述方法还包括:
获取通话语音,所述通话语音采用PCM格式;
对所述通话语音进行分帧、加窗、分组处理,得到一组以上所述实时语音。
8.一种应用于TTS的语音转换装置,其特征在于,所述装置包括:
获取模块,用于获取实时语音,将所述实时语音的说话人记为第一说话人;
提取模块,用于提取所述实时语音的频谱参数和基频参数;
查询模块,用于查询所述TTS采用的说话人,记为第二说话人,并获取与所述第一说话人、所述第二说话人相关联的频谱转换模型;
频谱转换模块,用于将所述实时语音的频谱参数输入所述频谱转换模型,得到与所述第二说话人对应的频谱参数,记为第二频谱参数;
基频转换模块,用于将所述实时语音的基频参数转换为与所述第二说话人对应的基频参数,记为第二基频参数;
合成模块,用于合成所述第二频谱参数和所述第二基频参数以得到待播语音,所述待播语音配合在所述TTS播放。
9.一种电子设备,其包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为执行所述计算机程序时实现权利要求1至7中任意一项所述的一种应用于TTS的语音转换方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任意一项所述的一种应用于TTS的语音转换方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州远传新业科技股份有限公司,未经杭州远传新业科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210797918.8/1.html,转载请声明来源钻瓜专利网。