[发明专利]乐器音色迁移下的人声音色相似性度量方法

权利要求书

1.一种乐器音色迁移下的人声音色相似性度量方法，其特征在于：包括如下步骤：

步骤S1：获取乐器音频文件，构建并训练深度卷积神经网络模型，得到训练好的IDCNN模型；

步骤S2：获取人声清唱音频文件，用人声音频数据微调训练好的IDCNN模型，得到人声音色的表征模型HDCNN，HDCNN模型输出人声的音色向量；

步骤S3：计算不同音色向量之间的余弦度，得到不同人声音色之间的相似性；

所述步骤S1具体包括以下步骤：

步骤S11：把乐器音频文件截取成固定长度的片段；

步骤S12：计算每个片段的对数梅尔频谱特征，对数梅尔频谱特征为128维，最终得到43*128大小的特征矩阵，作为训练深度神经网络时的输入矩阵；

步骤S13：构建深度卷积神经网络模型，把步骤S12中得到的特征矩阵输入深度卷积神经网络模型进行训练；

所述步骤S2具体包括以下步骤：

步骤S21：把人声音频截取成固定长度的片段；

步骤S22：计算每个片段的对数梅尔频谱特征，对数梅尔频谱特征为128维，最终得到43*128大小的特征矩阵，作为微调IDCNN模型的输入矩阵；

步骤S23：对于训练好的IDCNN模型，固定其部分参数保持不变，并用步骤S22中得到的特征矩阵微调IDCNN模型的其他参数，微调得到的网络模型即为人声音色的表征模型，称为HDCNN模型，模型的第十三层全连接层的输出为人声的音色向量。

2.根据权利要求1所述的乐器音色迁移下的人声音色相似性度量方法，其特征在于：步骤S11中音频文件格式为wav，采样率为22050Hz，每个音频长度不等，把音频文件截取成固定长度为1s的片段。

3.根据权利要求1所述的乐器音色迁移下的人声音色相似性度量方法，其特征在于：步骤S13包括以下步骤：

步骤S131：按照如下结构构建深度卷积神经网络模型：

第一层、第二层使用32个卷积核，尺寸为（3，3），max-pooling为（3，3），输入为43*128大小的矩阵，激活函数为RELU；

第三层为Dropout层，比例为0.25；

第四层、第五层使用64个卷积核，尺寸为（3，3），max-pooling为（3，3），激活函数为RELU；

第六层为Dropout层，比例为0.25；

第七层、第八层使用128个卷积核，尺寸为（3，3），max-pooling为（3，3），激活函数为RELU；

第九层为Dropout层，比例为0.25；

第十层、第十一层使用256个卷积核，尺寸为（3，3），激活函数为RELU；

第十二层为全局池化层；

第十三层为1024个结点的全连接层，激活函数为RELU；

第十四层为Dropout层，比例为0.5；

第十五层为分类层，激活函数为softmax；

步骤S132：将步骤S12中得到的对数频谱特征矩阵输入深度卷积神经网络模型，采用Adam算法对网络进行迭代训练，得到训练好的深度卷积神经网络模型，即IDCNN模型。

4.根据权利要求1所述的乐器音色迁移下的人声音色相似性度量方法，其特征在于：步骤S23包括以下步骤：

步骤S231：保持IDCNN模型的结构不变，并冻结IDCNN模型第一层、第二层的参数不予训练；

步骤S232：把步骤S22中得到的特征矩阵作为训练数据，训练IDCNN模型中第三层至第十二层的参数，此过程称为微调，微调得到的模型即为人声音色表征模型，称为HDCNN模型；

根据权利要求1所述的乐器音色迁移下的人声音色相似性度量方法，其特征在于：步骤S21采用人声分离的方法分离出伴奏声，提取出歌手的清唱声音，去除不包含人声的部分，形成只包含人声的清唱音频，音频格式为wav，采样率为16000Hz，每个音频长度不等，把音频文件截取成固定长度为1s的片段。

5.根据权利要求1所述的乐器音色迁移下的人声音色相似性度量方法，其特征在于：步骤S3中设两个不同人声音色向量分别为和，均为1024维，按照如下公式计算两者之间的相似度：

计算得到的即为不同人声音色之间的相似性，i=1,2…1024。