[发明专利]钢琴演奏音频生成方法、装置、计算机设备及存储介质

说明书

本发明涉及人工智能领域，尤其涉及一种钢琴演奏音频生成方法、装置、计算机设备及存储介质。其方法包括：获取钢琴演奏事件数据；将钢琴演奏事件数据输入事件编码器进行事件编码，得到钢琴演奏事件编码；通过音频代码转换模型对钢琴演奏事件编码进行代码转换，得到梅尔频谱编码；通过梅尔频谱生成器对梅尔频谱编码进行解码，得到梅尔频谱数据；将梅尔频谱数据输入声码器中进行还原，得到钢琴演奏音频。本发明将钢琴弹奏事件转化为钢琴弹奏音频，考虑了钢琴弦之间共振产生的声音，使得到的钢琴弹奏音频具有泛音更加生动逼真。

技术领域

本发明涉及人工智能领域，尤其涉及一种钢琴演奏音频生成方法、装置、计算机设备及存储介质。

背景技术

随着电子音乐的发展，通过电子乐器或电子音乐制作技术制作音乐的方法日趋成熟。在电子音乐中，有些音色不是通过真实乐器演奏产生的，而是通过合成器合成得到的。

针对钢琴的音色合成来讲，现有音色合成器的技术通常有以下两种：

1、录制每个音的真实采样，然后将录制的采样拼合成钢琴演奏音频(例如Kontakt中的各种钢琴音色，Kontakt为一款音色采样器工具)；

2、使用物理建模的方式，通过物理函数算法模拟乐器运作(例如，Pianoteq，Pianoteq是一款可以自己定制钢琴音色的插件)，运算出钢琴演奏音频。

然而，上述技术1合成的钢琴演奏音频中，虽然单个音色很像真实钢琴音色，但无法很好地模拟钢琴弦之间共振产生的声音，使合成的钢琴演奏音频缺乏泛音。其次，上述技术2虽然在各个钢琴零件以及钢琴弦的共振模拟上相对上述方法1更好，但由于每个钢琴音色都是通过模拟产生，模拟产生的钢琴音色与真实的钢琴音色之间存在差距。

发明内容

基于此，有必要针对上述技术问题，提供一种钢琴演奏音频生成方法、装置、计算机设备及存储介质，以解决现有音频合成技术生成的钢琴演奏音频缺乏泛音的问题。

一种钢琴演奏音频生成方法，包括：

获取钢琴演奏事件数据；

将所述钢琴演奏事件数据输入事件编码器进行事件编码，得到钢琴演奏事件编码；

通过音频代码转换模型对所述钢琴演奏事件编码进行代码转换，得到与所述钢琴演奏事件编码对应的梅尔频谱编码；

通过梅尔频谱生成器对所述梅尔频谱编码进行解码，得到与所述钢琴演奏事件编码对应的梅尔频谱数据；

将所述梅尔频谱数据输入声码器中进行还原，得到钢琴演奏音频。

一种钢琴演奏音频生成装置，包括：

钢琴演奏事件数据模块，用于获取钢琴演奏事件数据；

钢琴演奏事件编码模块，用于将所述钢琴演奏事件数据输入事件编码器进行事件编码，得到钢琴演奏事件编码；

梅尔频谱编码模块，用于通过音频代码转换模型对所述钢琴演奏事件编码进行代码转换，得到与所述钢琴演奏事件编码对应的梅尔频谱编码；

梅尔频谱数据模块，用于通过梅尔频谱生成器对所述梅尔频谱编码进行解码，得到与所述钢琴演奏事件编码对应的梅尔频谱数据；

钢琴演奏音频模块，用于将所述梅尔频谱数据输入声码器中进行还原，得到钢琴演奏音频。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述钢琴演奏音频生成方法。

一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上述钢琴演奏音频生成方法。