[发明专利]乐器音色转换模型构建方法以及乐器音色转换方法

说明书

本发明实施例提供一种乐器音色转换模型构建方法，包括：通过将第一样本音频向量序列转换为第二样本音频向量序列，再将第二样本音频向量序列转换为输入样本音频向量序列；并通过计算得到的第一损失值和第一分值，更新待训练模型的模型参数，以训练得到乐器音色转换模型；本发明实施例通过第一损失值和第一分支对模型进行训练，训练效率高；且提高了通过上述方法训练得到的乐器音色转换模型的准确率。

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种乐器音色转换模型构 建方法以及乐器音色转换方法。

背景技术

目前，基于神经网络的乐器音色转换模型的训练主要依赖于监督方法，该 模型训练方法需要采集大量的源乐器和目标转换乐器的成对音频训练数据，且 数据需要在时间维度上对齐。在实际应用过程中，获取成对对齐的训练数据成 本高，无法保证采集训练数据的数量和质量，导致通过监督方法采集的训练数 据训练得到的模型的乐器音色转换效果差。

发明内容

有鉴于此，本发明实施例提供了一种乐器音色转换模型构建方法、装置、 计算机设备、计算机可读存储介质以及乐器音色转换方法，用于解决采用减速 方法采集得到的训练数据训练得到的模型的乐器音色转换效果差的问题。

本发明实施例是通过下述技术方案来解决上述技术问题：

本发明实施例的一个方面提供一种乐器音色转换模型构建方法，包括：

采集多个第一样本音频数据，其中，第一样本音频数据为基于第一类型乐 器演奏得到的音频数据；

将所述多个第一样本音频数据转化为多个第一样本音频向量序列，并将所 述多个第一样本音频向量序列输入至待训练模型中，

通过所述待训练模型将所述多个第一样本音频向量序列转换为第二样本音 频向量序列，其中，第二样本音频向量序列为基于模拟第二类型乐器演奏得到 的音频数据对应的向量序列；

将每个第二样本音频向量序列恢复为对应的输入样本音频向量序列，其中， 所述输入样本音频向量序列为基于模拟所述第一类型乐器演奏得到的音频数据 对应的向量序列；

将所述输入样本音频向量序列与对应的第一样本音频向量序列进行比对， 并得到第一损失值；

基于多个第二样本音频向量序列，获取每个第二样本音频向量序列对应的 第一分值；

基于所述第一分值和所述第一损失值，更新所述待训练模型的模型参数；

根据更新后的模型参数得到乐器音色转换模型。

可选地，所述待训练模型包括第一转换器、第二转换器、第一辨别器和第 二辨别器，所述第一转换器用于将所述第一样本音频向量序列转换为所述第二 样本音频向量序列；所述第二转换器用于将第三样本音频向量序列转换为第四 样本音频向量序列，其中，所述第三样本音频数据为基于所述第二类型乐器演 奏得到的音频数据对应的向量序列，所述第四样本音频向量序列为基于模拟所 述第一类型乐器演奏得到的音频数据对应的向量序列；所述第一辨别器用于辨 别音频数据是否为模拟所述第一类型乐器演奏得到的数据；所述第二辨别器用 于辨别音频数据是否为模拟所述第二类型乐器演奏得到的数据；

所述基于所述第一分值和所述第一损失值，更新所述待训练模型的模型参 数，还包括：

在所述第二转换器和所述第二辨别器的模型参数不变的情形下，根据所述 第一损失值，通过反向传播算法获取所述第一转换器中各个神经元的第一误差；

根据所述第一转换器中的各个第一误差，更新所述第一转换器的模型参数；

基于所述第一转换器更新后的模型参数和所述第一分值，更新所述第一辨 别器的模型参数。

可选地，所述根据更新后的模型参数得到乐器音色转换模型，还包括：