[发明专利]一种模拟用户歌声的语音合成系统及方法有效
申请号: | 201711079095.0 | 申请日: | 2017-11-06 |
公开(公告)号: | CN108053814B | 公开(公告)日: | 2023-10-13 |
发明(设计)人: | 孟猛 | 申请(专利权)人: | 芋头科技(杭州)有限公司 |
主分类号: | G10H1/00 | 分类号: | G10H1/00 |
代理公司: | 北京市竞天公诚律师事务所 11770 | 代理人: | 陈果 |
地址: | 310000 浙江省杭州市余杭区*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 模拟 用户 歌声 语音 合成 系统 方法 | ||
1.一种模拟用户歌声的语音合成系统,适用于语音模拟应用中;其特征在于,包括:
第一获取单元,用于获取外部输入的用户正常说话时的用户语音;
第一转换单元,连接所述第一获取单元,用于将所述用户语音转换成对应的发音文本,以及根据所述发音文本形成对应的包括基本音子的音子序列;
第一处理单元,连接所述第一转换单元,用于根据所述音子序列处理得到每个所述基本音子对应的原始时段信息,所述原始时段信息用于表示每个所述基本音子在所述用户语音中的起止时间;
第一合成单元,分别连接所述第一获取单元和所述第一处理单元,用于根据所述用户语音的基频信息以及每个所述基本音子的所述原始时段信息分别处理得到所述用户语音每个所述基本音子的语音合成参数;
第二获取单元,用于获取一预设的目标歌曲中的曲谱信息;
第二处理单元,分别连接所述第一处理单元和所述第二获取单元,用于将每个所述基本音子的所述原始时段信息分别调整为对应所述曲谱信息的节拍时段信息,所述节拍时段信息用于表示每个所述基本音子在所述目标歌曲中对应的节拍中的起止时间;
第二合成单元,分别连接所述第一合成单元和所述第二处理单元,用于针对每个所述基本音子比较所述原始时段信息和所述节拍时段信息,并根据判断结果相应调整每个所述基本音子的所述语音合成参数;
语音模拟单元,分别连接所述第二合成单元、第二获取单元和所述第一转换单元,用于根据每个所述基本音子的经过调整的所述语音合成参数以及所述发音文本,形成模拟用户歌声的合成语音并输出。
2.如权利要求1所述的语音合成系统,其特征在于,所述第一处理单元采用维特比方法分别处理得到每个所述基本音子的所述原始时段信息。
3.如权利要求1所述的语音合成系统,其特征在于,所述曲谱信息中包括对应的所述目标歌曲的节拍信息,所述节拍信息用于表示对应的所述目标歌曲中每一节拍的时间信息,于一个所述节拍中包括一个或多个所述基本音子;
则所述第二处理单元根据所述节拍信息,分别将每个所述基本音子的所述原始时段信息调整为用于表示所述基本音子在所述目标歌曲中覆盖的节拍数目所对应的时间的节拍时段信息。
4.如权利要求1所述的语音合成系统,其特征在于,所述第二合成单元具体包括:
判断模块,用于分别将每个所述基本音子的所述原始时段信息与所述节拍时段信息进行比较,并输出相应的比较结果;
第一处理模块,连接所述判断模块,用于根据所述比较结果:
在所述比较结果表示所述原始时段信息表示的时间长度短于所述节拍时段信息表示的时间长度时,对所述基本音子对应的所述语音合成参数执行时间域上的插值处理,以得到对应所述基本音子的经过调整的所述语音合成参数;以及
在所述比较结果表示所述原始时段信息表示的时间长度长于所述节拍时段信息表示的时间长度时,对所述基本音子对应的所述语音合成参数执行时间域上的抽减处理,以得到对应所述基本音子的经过调整的所述语音合成参数。
5.如权利要求4所述的语音合成系统,其特征在于,所述第二合成单元中还包括:
第二处理模块,连接所述第一处理模块,用于对所述基本音子的所述语音合成参数进行调整之后,对所述语音合成参数进行平滑处理。
6.如权利要求1所述的语音合成系统,其特征在于,所述目标歌曲的所述曲谱信息中还包括用于所述目标歌曲的每个音符的曲调信息;
所述语音模拟单元中包括:
基频替换模块,用于采用所述曲调信息分别替换每个所述基本音子的所述语音合成参数中的基频信息;
语音模拟模块,连接所述基频替换模块,用于根据经过替换的所述语音合成参数和所述发音文本,形成模拟用户歌声的所述合成语音并输出。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于芋头科技(杭州)有限公司,未经芋头科技(杭州)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711079095.0/1.html,转载请声明来源钻瓜专利网。