[发明专利]一种针对低资源土家语的端到端语音增强方法

权利要求书

1.一种针对低资源土家语的端到端语音增强方法，其特征是，基于深度卷积生成对抗网络，建立端到端的低资源土家语语音增强模型，实现端到端的土家语语音快速增强处理，有效去除土家语语音的环境噪声；包括以下步骤：

1)构建土家语语料库，对土家语录音数据进行分类和切分处理，得到土家语原始带噪语料和土家语原始干净语料，并从土家语原始带噪语料中截取得到纯噪声片段；

2)扩展语料库：利用汉语原始干净语料作为土家语的扩展数据，将纯噪声片段分别加入到土家语原始干净语料和汉语原始干净语料中，将得到的新语料分别称为土家语合成带噪语料和汉语合成带噪语料；

3)建立并训练端到端的土家语语音增强模型；包括：

采用深度卷积生成对抗网络DCGAN建立端到端的土家语语音增强模型；

所述端到端的土家语语音增强模型包括：生成网络和判别网络；

生成网络采用编码-解码的端到端全卷积网络结构；

在网络的每个卷积层中加入谱归一化，通过限制每个卷积层的谱范数约束网络的Lipschitz常数；

采用对抗训练设置，通过将增强后的语音与真实干净语音输入判别网络中进行分类，判断输入信号的真假，并传递到生成网络，使得端到端的土家语语音增强模型将模型输出波形朝着真实的分布微调，由此达到去除噪声信号的目的；

训练端到端的土家语语音增强模型，具体包括执行如下操作：

31)将所述汉语合成带噪语料的时域波形图作为生成网络的输入；

所述时域波形图通过重叠滑窗的方式输入生成网络编码阶段的多个卷积层，得到压缩向量；

压缩向量进入生成网络解码阶段；

生成网络解码阶段与编码阶段呈镜像关系，其中的反卷积层及卷积核参数与编码阶段相对应的卷积层参数一致；每一个反卷积层同时接收上一个反卷积层结果和编码阶段中相对称的卷积层结果，将结果通过加权相加传递给下一个反卷积层，由此得到增强后的汉语干净语料；

32)判别网络接收汉语原始干净语料和步骤31)得到的增强后的汉语干净语料，经判别网络多层卷积进行分类，得到判别结果；

将判别结果传递给生成网络；

通过计算网络损失函数互相传递循环训练，直到判别网络无法判别输入来源，则得到端到端土家语语音增强模型；

4)对步骤3)得到的端到端的土家语语音增强模型继续进行微调训练，得到训练好的端到端的土家语语音增强模型FDCGAN；具体操作为：

采用步骤1)中的土家语原始干净语料和步骤2)得到的土家语合成带噪语料作为训练数据输入步骤3)得到的端到端的土家语语音增强模型，并且修改模型的学习率和批处理参数进行训练，最终得到训练好的端到端土家语语音增强模型FDCGAN；

5)将待进行语音增强的土家语数据输入步骤4)得到的训练好的端到端土家语语音增强模型FDCGAN，即输出增强的土家语语音。

2.如权利要求1所述针对低资源土家语的端到端语音增强方法，其特征是，步骤1)构建土家语语料库，具体包括如下操作：

11)首先根据土家语录音数据的质量将土家语语料分为两部分：无噪声数据和有噪声数据，分别为土家语原始带噪语料和土家语原始干净语料；

再利用语音处理工具将有噪声数据中的噪声片段截取出，得到纯噪声片段；

12)对语音数据的长句进行切分，得到独立短句；短句仍分为两类：土家语原始带噪语料和土家语原始干净语料。

3.如权利要求1所述针对低资源土家语的端到端语音增强方法，其特征是，步骤2)扩展语料库，具体采用清华大学30小时汉语语音数据集thchs30作为土家语的扩展数据。

4.如权利要求1所述针对低资源土家语的端到端语音增强方法，其特征是，所述多个卷积层为11个卷积层。