[发明专利]一种基频预测方法及装置

说明书

本申请实施例公开了一种基频预测方法及装置，该方法包括：获取待处理音频数据的基频序列和频谱包络，以及获取待处理音频数据对应的目标音符序列，目标音符序列为预存的与待处理音频数据关联的音符序列；根据基频序列确定待处理音频数据对应的vuv序列；将频谱包络、vuv序列以及目标音符序列输入预先训练完成的基频预测模型，以确定待处理音频数据对应的预测基频序列。采用本申请实施例，可降低基频调整的复杂度，以及提高获取到的基频的准确度，进而使得修音后的作品听起来更自然，更具有用户的个人演唱特点。

技术领域

本申请涉及音频处理领域，尤其涉及一种基频预测方法及装置。

背景技术

唱歌作为一种传递情感，娱乐消遣的方式倍受人们的喜爱。然而并不是所有人都能像专业歌手或者专业演唱家一样，能够对歌曲的音准把握那么准确。因此，非专业人士往往期望通过修音技术将自己演唱的作品的音准提高，进而使得自己演唱的作品不跑调并且更加优美动听。

近些年来，在线K歌平台在智能科技方面的应用日渐凸显，K歌平台能够支持大部分歌曲的“一键修音”功能，实现自动对用户演唱作品进行优化的效果，降低在线K歌的难度和门槛。一般来说，“一键修音”技术主要是先通过节奏判断算法确定用户所演唱歌曲的节奏是否准确，然后针对节奏准确和节奏不准确两种情况分别基于不同的规则进行处理。例如，当节奏准确时，保留用户所演唱歌曲的基频的基本走向，然后将专业歌手演唱同一歌曲的基频作为标准基频，对该用户的基频进行上下平移，以进行修音；当节奏不准确时，将标准基频直接设置为音符序列，但是这样会导致丢失用户对应的基频的走向，使得修音结果比较机械。总的来说，就是相关技术中所采用的修音方案较为复杂，且修音后的作品听起来十分机械，准确度不高。

发明内容

本申请实施例提供了一种基频预测方法及装置，可降低基频调整的复杂度，以及提高获取到的基频的准确度。

第一方面，本申请实施例提供了一种基频预测方法，该方法包括：

获取待处理音频数据的基频序列和频谱包络，以及获取所述待处理音频数据对应的目标音符序列，所述目标音符序列为预存的与所述待处理音频数据关联的音符序列；

根据所述基频序列确定所述待处理音频数据对应的清音浊音vuv序列；

将所述频谱包络、所述vuv序列以及所述目标音符序列输入预先训练完成的基频预测模型，以确定所述待处理音频数据对应的预测基频序列，其中，所述基频预测模型通过样本音频数据对应的样本基频序列、样本频谱包络、以及由所述样本基频序列转换得到的样本vuv序列和样本音符序列训练得到的。

结合第一方面，在一种可能的实施方式中，所述方法还包括：

获取训练样本集合以及获取所述训练样本集合中的每个样本音频数据对应的样本基频序列和样本频谱包络，并根据所述样本基频序列确定所述样本音频数据对应的样本vuv序列和样本音符序列；

将所述样本频谱包络、所述样本vuv序列以及所述样本音符序列输入初始基频预测模型，以得到所述初始基频预测模型输出的样本预测基频序列；

根据所述训练样本集合中各个样本音频数据对应的样本基频序列和样本预测基频序列对所述初始基频预测模型进行训练，得到所述基频预测模型。

结合第一方面，在一种可能的实施方式中，所述获取训练样本集合包括：

获取候选样本音频数据集合，所述候选样本音频数据中包括m个候选样本音频数据，m为大于0的整数；

获取所述m个候选样本音频数据中每个候选样本音频数据对应的音高分布向量；

根据m个音高分布向量和所述m确定所述m个候选样本音频数据中各个候选样本音频数据对应的样本采样概率；