[发明专利]基于对抗网络的声音样本生成方法、装置、设备及介质

权利要求书

1.一种基于对抗网络的声音样本生成方法，其特征在于，包括：

利用对抗网络模型中的生成器，对人声语音样本对应的梅尔频谱进行多尺度特征融合操作，得到用于表征合成语音样本的新的梅尔频谱；

利用多分辨率梅尔谱损失函数,计算所述梅尔频谱的多尺度特征与所述新的梅尔频谱的多尺度特征之间的损失值，并根据所述损失值得到目标损失值；

基于所述目标损失值对所述对抗网络模型进行训练，得到训练后的对抗网络模型；

利用所述训练后的对抗网络模型对输入的人声语音进行样本模拟，得到声音样本。

2.根据权利要求1所述的方法，其特征在于，所述利用对抗网络模型中的生成器，对人声语音样本对应的梅尔频谱进行多尺度特征融合操作，得到用于表征合成语音样本的新的梅尔频谱，包括：

利用短时傅里叶变换对所述人声语音样本的幅度谱进行处理，得到处理后的幅度谱；

利用梅尔谱滤波器组计算所述处理后的幅度谱得到所述梅尔频谱；

利用所述生成器基于所述梅尔频谱进行多尺度特征采集操作与特征融合操作，得到所述新的梅尔频谱。

3.根据权利要求2所述的方法，其特征在于，所述利用短时傅里叶变换对所述人声语音样本的幅度谱进行处理，得到处理后的幅度谱，包括：

对所述人声语音样本的幅度谱进行使用分帧与加窗处理，得到待变换幅度谱；

对所述待变换幅度谱进行短时傅里叶变换，得到处理后的幅度谱。

4.根据权利要求2所述的方法，其特征在于，所述生成器包括转置卷积层和多尺度信息融合层；

所述利用所述生成器中基于所述梅尔频谱进行多尺度特征采集操作与特征融合操作，得到所述新的梅尔频谱，包括：

利用所述生成器中的转置卷积层对所述梅尔频谱进行上采样；

利用所述生成器中的多尺度信息融合层对所述梅尔频谱进行多尺度提取和特征融合，得到所述新的梅尔频谱。

5.根据权利要求1所述的方法，其特征在于，所述利用多分辨率梅尔谱损失函数,计算所述梅尔频谱的多尺度特征与所述新的梅尔频谱的多尺度特征之间的损失值，并根据所述损失值得到目标损失值，包括：

根据所述对抗网络中的辨别器对所述梅尔频谱和所述新的梅尔频谱进行多尺度的下采样，得到所述梅尔频谱多尺度特征与所述新的梅尔频谱多尺度特征；其中，所述辨别器的结构包括N个所述辨别器，其中，N为大于或等于3的整数；

利用多分辨率梅尔谱损失函数，计算所述梅尔频谱多尺度特征与所述新的梅尔频谱多尺度特征之间的损失值；

从所述损失值中得到目标损失值。