[发明专利]歌曲生成方法、装置、可读介质及电子设备有效
申请号: | 202010209002.7 | 申请日: | 2020-03-23 |
公开(公告)号: | CN111445897B | 公开(公告)日: | 2023-04-14 |
发明(设计)人: | 殷翔 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G10L13/08 | 分类号: | G10L13/08;G10L13/10 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 曹寒梅 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 歌曲 生成 方法 装置 可读 介质 电子设备 | ||
1.一种歌曲生成方法,其特征在于,所述方法包括:
接收用户输入的目标文字信息;
确定目标歌曲模板;
确定所述目标文字信息中每个文字的演唱时长;
根据所述目标文字信息中的每个文字的演唱时长和所述目标歌曲模板生成目标频谱数据;
通过所述目标歌曲模板和所述目标频谱数据合成目标语音波形数据;
将所述目标语音波形数据与所述目标歌曲模板的模板伴奏信息合成为目标歌曲;
其中,所述目标歌曲模板中还包括模板歌词信息、模板基频数据和模板音乐信息;
所述方法还包括:
对所述目标文字信息进行文本分析以得到所述目标文字信息中每个文字所包含的音素信息;
所述确定所述目标文字信息中每个文字的演唱时长包括:
对所述模板歌词信息和所述目标文字信息进行文字动态匹配,以得到所述目标文字信息中每个文字与所述模板歌词信息中的文字之间的对应关系;
根据所述对应关系和所述模板音乐信息确定所述目标文字信息中每个文字中所包含的每个音素中的每个状态的状态时长。
2.根据权利要求1所述的方法,其特征在于,
所述目标文字信息中每个文字的演唱时长为根据所述模板歌词信息和所述模板音乐信息所确定;
所述目标频谱数据为根据所述目标文字信息中的每个文字的演唱时长和所述模板音乐信息所生成;
所述目标语音波形数据通过所述模板基频数据和所述目标频谱数据合成。
3.根据权利要求1所述的方法,其特征在于,所述对所述模板歌词信息和所述目标文字信息进行文字动态匹配,以得到所述目标文字信息中每个文字与所述模板歌词信息中的文字之间的对应关系包括:
通过第一预设机器学习模型对所述模板歌词信息和所述目标文字信息进行文字动态匹配,以得到所述目标文字信息中每个文字与所述模板歌词信息中的文字之间的对应关系。
4.根据权利要求1或3所述的方法,其特征在于,所述对所述模板歌词信息和所述目标文字信息进行文字动态匹配还包括:
在所述目标文字信息与所述模板歌词信息之间的匹配效果低于预期匹配目标的情况下,
在所述目标文字信息中加入一个或多个预设拟声词后再次对所述模板歌词信息和增加了拟声词后的目标文字信息进行文字动态匹配,直至所述匹配效果达到所述预期匹配目标;和/或
将所述目标文字信息中的所有文字重复后再次对所述模板歌词信息和重复后的目标文字信息进行文字动态匹配,直至所述匹配效果达到所述预期匹配目标。
5.根据权利要求1或3所述的方法,其特征在于,所述对所述模板歌词信息和所述目标文字信息进行文字动态匹配还包括:
在所述目标文字信息与所述模板歌词信息之间的匹配效果低于预期匹配目标的情况下,将所述目标歌曲模板重复后再次对所述目标文字信息和重复后的目标歌曲模板中的模板歌词信息进行文字动态匹配,直至所述匹配效果达到所述预期匹配目标。
6.根据权利要求1所述的方法,其特征在于,所述根据所述对应关系和所述模板音乐信息确定所述目标文字信息中每个文字中所包含的每个音素中的每个状态的状态时长包括:
通过第二预设机器学习模型根据所述对应关系、所述模板歌词信息以及所述模板音乐信息确定所述目标文字信息中每个文字中所包含的每个音素中的每个状态的所述状态时长。
7.根据权利要求1所述的方法,其特征在于,所述根据所述目标文字信息中的每个文字的演唱时长和所述目标歌曲模板生成目标频谱数据包括:
通过预设神经网络声学模型根据所述目标文字信息中的每个文字的演唱时长和所述目标歌曲模板生成所述目标频谱数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010209002.7/1.html,转载请声明来源钻瓜专利网。