[发明专利]一种基频预测方法及装置在审
申请号: | 202111249248.8 | 申请日: | 2021-10-26 |
公开(公告)号: | CN113990346A | 公开(公告)日: | 2022-01-28 |
发明(设计)人: | 庄晓滨 | 申请(专利权)人: | 腾讯音乐娱乐科技(深圳)有限公司 |
主分类号: | G10L25/27 | 分类号: | G10L25/27;G10L25/03;G10L25/93;G10H1/36 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;杜维 |
地址: | 518000 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基频 预测 方法 装置 | ||
1.一种基频预测方法,其特征在于,包括:
获取待处理音频数据的基频序列和频谱包络,以及获取所述待处理音频数据对应的目标音符序列,所述目标音符序列为预存的与所述待处理音频数据关联的音符序列;
根据所述基频序列确定所述待处理音频数据对应的清音浊音vuv序列;
将所述频谱包络、所述vuv序列以及所述目标音符序列输入预先训练完成的基频预测模型,以确定所述待处理音频数据对应的预测基频序列,其中,所述基频预测模型通过样本音频数据对应的样本基频序列、样本频谱包络以及由所述样本基频序列转换得到的样本vuv序列和样本音符序列训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取训练样本集合以及获取所述训练样本集合中的每个样本音频数据对应的样本基频序列和样本频谱包络,并根据所述样本基频序列确定所述样本音频数据对应的样本vuv序列和样本音符序列;
将所述样本频谱包络、所述样本vuv序列以及所述样本音符序列输入初始基频预测模型,以得到所述初始基频预测模型输出的样本预测基频序列;
根据所述训练样本集合中各个样本音频数据对应的样本基频序列和样本预测基频序列对所述初始基频预测模型进行训练,得到所述基频预测模型。
3.根据权利要求2所述的方法,其特征在于,所述获取训练样本集合,包括:
获取候选样本音频数据集合,所述候选样本音频数据中包括m个候选样本音频数据,m为大于0的整数;
获取所述m个候选样本音频数据中每个候选样本音频数据对应的音高分布向量;
根据m个音高分布向量和所述m确定所述m个候选样本音频数据中各个候选样本音频数据对应的样本采样概率;
根据所述各个候选样本音频数据对应的样本采样概率,从所述m个候选样本音频数据中确定出所述训练样本集合中包括的样本音频数据。
4.根据权利要求2或3所述的方法,其特征在于,所述根据所述样本基频序列确定所述样本音频数据对应的样本音符序列,包括:
计算所述样本基频序列中各个相邻样本基频值之间的差值绝对值;
若存在连续多个差值绝对值大于或者等于预设阈值,确定所述样本基频序列的至少一个基频分段边界;
根据所述至少一个基频分段边界对所述样本基频序列进行分段处理,得到多个基频分段序列;
对所述多个基频分段序列进行平滑处理,并对经平滑处理后得到的序列进行拼接以作为所述样本音频数据对应的样本音符序列。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述获取所述待处理音频数据对应的目标音符序列,包括:
获取所述待处理音频数据对应的候选音符序列集合,所述候选音符序列集合中包括至少两个候选音符序列;
基于所述基频序列中包括的各个基频值确定第一参数值;
根据所述第一参数值从所述至少两个候选音符序列中确定出目标音符序列。
6.根据权利要求5所述的方法,其特征在于,所述至少两个候选音符序列包括至少一个女声对应的候选音符序列和至少一个男声对应的候选音符序列;所述根据所述第一参数值从所述至少两个候选音符序列中确定出目标音符序列,包括:
确定所述至少两个候选音符序列中每个候选音符序列对应的音符平均值,根据所述至少两个候选音符序列对应的音符平均值确定第一参数判断值;
根据所述第一参数判断值和所述第一参数值确定所述待处理音频数据的声音类别,所述声音类别包括女声或男声;
根据所述待处理音频数据的声音类别从所述至少两个候选音符序列中确定出所述声音类别对应的至少一个候选音符序列;
从所述声音类别对应的至少一个候选音符序列中确定出一个候选音符序列作为所述目标音符序列。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯音乐娱乐科技(深圳)有限公司,未经腾讯音乐娱乐科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111249248.8/1.html,转载请声明来源钻瓜专利网。