[发明专利]钢琴演奏音频生成方法、装置、计算机设备及存储介质

权利要求书

1.一种钢琴演奏音频生成方法，其特征在于，包括：

获取钢琴演奏事件数据；

将所述钢琴演奏事件数据输入事件编码器进行事件编码，得到钢琴演奏事件编码；

通过音频代码转换模型对所述钢琴演奏事件编码进行代码转换，得到与所述钢琴演奏事件编码对应的梅尔频谱编码；

通过梅尔频谱生成器对所述梅尔频谱编码进行解码，得到与所述钢琴演奏事件编码对应的梅尔频谱数据；

将所述梅尔频谱数据输入声码器中进行还原，得到钢琴演奏音频。

2.如权利要求1所述的钢琴演奏音频生成方法，其特征在于，在所述通过音频代码转换模型对所述钢琴演奏事件编码进行代码转换，得到与所述钢琴演奏事件编码对应的梅尔频谱编码之前，包括：

获取钢琴演奏音频样本集；

对所述钢琴演奏音频样本集进行编码处理，得到钢琴演奏事件样本编码和第一梅尔频谱编码；

将所述钢琴演奏事件样本编码输入初始音频代码转换模型中，得到目标梅尔频谱编码；

根据所述第一梅尔频谱编码和所述目标梅尔频谱编码确定梅尔频谱损失值；

在所述梅尔频谱损失值未达到预设的收敛条件时，迭代更新所述初始音频代码转换模型的初始参数，直至所述梅尔频谱损失值达到所述预设的收敛条件时，将收敛之后的所述初始音频代码转换模型作为所述音频代码转换模型。

3.如权利要求2所述的钢琴演奏音频生成方法，其特征在于，所述将所述钢琴演奏事件样本编码输入初始音频代码转换模型中，得到目标梅尔频谱编码，包括：

将所述钢琴演奏事件样本编码和所述第一梅尔频谱编码进行拼合，得到拼合编码；

通过所述初始音频代码转换模型对所述拼合编码进行错位训练，得到所述目标梅尔频谱编码。

4.如权利要求2所述的钢琴演奏音频生成方法，其特征在于，所述对所述钢琴演奏音频样本进行编码处理，得到钢琴演奏事件样本编码和第一梅尔频谱编码，包括：

从所述钢琴演奏音频样本集中获取钢琴演奏事件样本和与所述钢琴演奏事件样本对应的第一钢琴演奏音频样本；

将所述第一钢琴演奏音频样本输入梅尔频谱编码器中，得到所述第一梅尔频谱编码；

将所述钢琴演奏事件样本输入所述事件编码器中，得到所述钢琴演奏事件样本编码。

5.如权利要求1所述的钢琴演奏音频生成方法，其特征在于，在所述通过梅尔频谱生成器对所述梅尔频谱编码进行解码，得到与所述钢琴演奏事件编码对应的梅尔频谱数据之前，包括：

获取第二钢琴演奏音频样本；

将所述第二钢琴演奏音频样本输入梅尔频谱编码器中，得到第二梅尔频谱编码；

对所述第二梅尔频谱编码进行量化处理，得到量化梅尔频谱编码；

将所述量化梅尔频谱编码输入初始梅尔频谱生成器中进行解码处理，得到目标梅尔频谱数据；

根据所述第二钢琴演奏音频样本、所述第二梅尔频谱编码、所述量化梅尔频谱编码和所述目标梅尔频谱数据确定编码损失值；

在所述编码损失值未达到预设的收敛条件时，迭代更新所述初始梅尔频谱生成器的初始参数，直至所述编码损失值达到所述预设的收敛条件时，将收敛之后的所述初始梅尔频谱生成器作为所述梅尔频谱生成器。

6.如权利要求5所述的钢琴演奏音频生成方法，其特征在于，所述根据所述第二钢琴演奏音频样本、所述第二梅尔频谱编码、所述量化梅尔频谱编码和所述目标梅尔频谱数据确定编码损失值，包括：

根据所述第二钢琴演奏音频样本和所述目标梅尔频谱数据确定第一损失值；

根据所述第二梅尔频谱编码和所述量化梅尔频谱编码确定第二损失值；

根据所述第一损失值和所述第二损失值确定所述编码损失值。