[发明专利]一种语音转化成歌曲的方法和系统有效
申请号: | 202011207626.1 | 申请日: | 2020-11-03 |
公开(公告)号: | CN112397043B | 公开(公告)日: | 2021-11-16 |
发明(设计)人: | 不公告发明人 | 申请(专利权)人: | 北京中科深智科技有限公司 |
主分类号: | G10H1/00 | 分类号: | G10H1/00;G10L21/007;G10L25/24;G10L25/03 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100000 北京市丰台区航*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 语音 转化 歌曲 方法 系统 | ||
1.一种语音转化成歌曲的方法,其特征在于,包括以下内容:
对语音信号进行处理,并转化成mel(梅尔)谱图;
通过声旋律提取器从不同的声源提取F0轮廓;
将mel谱图时间拉伸到与F0轮廓相同的长度,并通过两个编码器分别对mel谱图和F0轮廓进行编码,包括:
对mel谱图进行随机分割,并沿着时间轴拉伸或挤压每个片段,以与F0轮廓相同长度,具体为:
将mel谱图分割成16-32帧的随机长度的片段,并将每个片段以0.5-2的倍数进行时间拉伸或挤压,以与F0轮廓相同长度;
通过解码器将编码后的mel谱图和F0轮廓进行关联,并生成歌曲谱图;
通过MelGAN声码器对歌曲谱图进行处理,以提高输出歌曲的音质。
2.根据权利要求1所述一种语音转化成歌曲的方法,其特征在于,所述对语音信号进行处理,并转化成mel谱图,其中,对语音信号进行处理,包括以下内容:
对语音信号进行多次重新采样,并改变语音信号的节奏,以有效分离语音信号的内容和节奏。
3.根据权利要求1所述一种语音转化成歌曲的方法,其特征在于,所述通过声旋律提取器从不同的声源提取F0轮廓,其中,声源包括哼唱和演唱。
4.一种语音转化成歌曲的系统,其特征在于,包括:
语音处理模块,用于对语音信号进行处理,并转化成mel谱图;
声源处理模块,用于通过声旋律提取器从不同的声源提取F0轮廓;
编码模块,用于将mel谱图时间拉伸到与F0轮廓相同的长度,并通过两个编码器分别对mel谱图和F0轮廓进行编码;
编码模块,包括:
拉伸模块,用于对mel谱图进行随机分割,并沿着时间轴拉伸或挤压每个片段,以与F0轮廓相同长度,具体为:
将mel谱图分割成16-32帧的随机长度的片段,并将每个片段以0.5-2的倍数进行时间拉伸或挤压,以与F0轮廓相同长度;
解码模块,用于通过解码器将编码后的mel谱图和F0轮廓进行关联,并生成歌曲谱图;
输出模块,用于通过MelGAN声码器对歌曲谱图进行处理,以提高输出歌曲的音质。
5.根据权利要求4所述一种语音转化成歌曲的系统,其特征在于,语音处理模块,包括:
语音采样模块,用于对语音信号进行多次重新采样,并改变语音信号的节奏,以有效分离语音信号的内容和节奏。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京中科深智科技有限公司,未经北京中科深智科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011207626.1/1.html,转载请声明来源钻瓜专利网。