[发明专利]一种带有人声的音乐的风格迁移方法

权利要求书

1.一种带有人声的音乐的风格迁移方法，模型基于CycleGAN和WaveNet解码器。模型处理流程如下，其特征在于；

(1)，获取原始音乐文件通过时频分析来提取音频的CQT特征和梅尔频谱特征；

(2)，将两层谱图进行合并将提取的CQT特征和梅尔频谱特征合并为两层输入进CycleGAN模型；

提取的CQT特征和梅尔频谱特征合并的合并原则如下：

(21)假定对同一个音频进行时频处理，并且采用相同的窗口长度、窗函数以及步长。得到的CQT特征矩阵大小为n×m，得到的梅尔频谱特征矩阵大小为t×m；

(22)如果n≥t，那么以CQT特征矩阵作为第一层，梅尔频谱特征矩阵作为第二层。对于前t行来说，CQT特征矩阵和梅尔频谱特征矩阵一一对齐。对于梅尔频谱特征矩阵缺少的部分进行零填充；

(23)如果n＜t，那么以梅尔频谱特征矩阵作为第一层，CQT特征矩阵作为第二层，对于前n行来说，CQT特征矩阵和梅尔频谱特征矩阵一一对齐。对于CQT特征矩阵缺少的部分进行零填充；

(24)最终得到输入矩阵的大小为max(t,n)×m；

(3)，通过CycleGAN对补全后的谱图进行风格迁移，将CycleGAN产生出转换后的梅尔频谱特征和CQT特征；

风格迁移的CycleGAN的网络结构是将反卷积用最近邻差值代替和正则卷积替代

风格迁移的CycleGAN采用的损失函数如下：

(31)假设我们要将风格为A的音乐迁移到风格为B的音乐，设这两个音乐的所在域为域X和域Y，G为生成器，F为判别器，P_data(x)为X域的音乐片段，且x从P_data(x)中采样，P_data(y)为Y域的音乐片段，且y从P_data(y)中采样首先添加X→Y的对抗性损失函数如下：

(32)添加Y→X的对抗性损失函数如下：

(33)添加循环一致性损失：

(34)为了保留谱图的颜色成分，添加identityloss：

(35)故总的损失函数如下：

L(G,F,D_X,D_Y)＝L_GAN(G,D_Y,X,Y)+L_GAN(F,D_X,Y,X)+λ₁L_cyc(G,F)+λ₂L_identity(G,F)

(4)，通过WaveNet解码器对CycleGAN迁移后的谱图进行解码，从而生成音频，将两层特征输入进事先训练好的WaveNet解码器产生音频；

WaveNet解码器的输入谱图特征进行全局归一化处理：

对于所有的输入谱图的数据，采用如下对数变换进行全局归一化

ln(1+x/8)；

x定义为输入的谱图数据的矩阵；

(5)，通过评价指标来对生成的音频进行评价，先对风格转换音乐的评估和对风格转换质量进行评估，最后对风格迁移算法进行综合评估；

对于步骤(5)进行风格转换音乐的评估，具体流程如下；

首先给定训练集，其中包括，音乐，对音乐质量的打分，然后输入神经网络进行训练，通过训练好的音乐质量判定器对风格转换后的音乐进行打分；

对越步骤(5)进行风格转换质量进行评估，具体流程如下；

给定训练集，其中包括各种风格的音乐和各个音乐的标签，训练音乐风格分类器，对转换后的音乐用上述音乐风格分类器进行训练，分别统计音乐风格转换成功和失败的次数

对风格迁移算法进行综合评估，具体流程如下；

定义AQR为平均音乐质量,TR为平均风格迁移率，forward表示CycleGAN的前向转换，backward表示CycleGAN的后向转换，其中λ为CycleGAN的前向转换所占比重，通过上述两个分类器和下面的公式分别计算平均音乐质量和风格迁移成功率；

TCE＝λ*AQR_forward*TR_forward+(1-λ)*AQR_backward*TR_backward

计算的得到的TCE即为风格迁移算法的综合评判指标。