[发明专利]基于条件深度卷积生成对抗网络的端到端方言辨识方法

权利要求书

1.一种基于条件深度卷积生成对抗网络的端到端方言辨识方法，其特征在于，包括：

分别获取多种方言的语音数据以生成训练集和测试集；

将所述训练集和测试集转化为样本语谱图；

建立条件深度卷积生成对抗网络，其中，所述条件深度卷积生成对抗网络包括生成器和判别器；

对所述样本语谱图加以扩展条件，并将包含所述扩展条件的样本语谱图和噪声输入所述生成器，利用所述生成器中的卷积层进行特征提取加上扩展条件辅助训练；

将训练好的条件深度卷积生成对抗网络中的判别器抽取出来，输入所述样本语谱图和所述生成器生成的样本，利用该判别器中的卷积层提取深层次非线性特征，从而进行语谱图的相似性判断，并输出判断结果；

将所述判断结果输入最终分类器，以得到所述测试集中的方言类别。

2.根据权利要求1所述的基于条件深度卷积生成对抗网络的端到端方言辨识方法，其特征在于，所述训练集和所述测试集中的语音数据以16000Hz采样得到，以16比特量化的PCM格式存储。

3.根据权利要求2所述的基于条件深度卷积生成对抗网络的端到端方言辨识方法，其特征在于，将所述训练集和测试集转化为样本语谱图，具体包括：

将所述训练集和所述测试集中的语音数据统一转化为.wav形式的音频文件存储；

使用python，采用自动短时傅里叶变换specgram函数直接绘制音频文件的彩色语谱图，去除空白边缘，将图片大小设置为227×227，以得到所述样本语谱图。

4.根据权利要求3所述的基于条件深度卷积生成对抗网络的端到端方言辨识方法，其特征在于，所述条件深度卷积生成对抗网络中的参数遵循以下函数：

其中，D(x)表示的是x通过判别器D之后判别来自真实数据的概率；p_data(x)是真实数据x的分布；p_z(z)是随机噪声分布；D(G(z|c))是随机噪声联合条件c输入生成器G产生的生成样本，通过判别器D判断其为真实数据的概率。

5.根据权利要求4所述的基于条件深度卷积生成对抗网络的端到端方言辨识方法，其特征在于，所述条件深度卷积生成对抗网络还具有如下特点：

在所述判别器中，所有的池化层使用步幅卷积，在所述生成器中使用微步幅卷积；

在所述生成器和所述判别器中使用批量标准归一化；

对于深层次的网络去掉全连接隐藏层；

所述生成器中所有层都使用ReLU激活函数，输出层使用Tanh激活函数；

所述判别器中所有层使用LeakyReLU激活函数。

6.根据权利要求5所述的基于条件深度卷积生成对抗网络的端到端方言辨识方法，其特征在于，所述扩展条件包括类别标签。

7.根据权利要求6所述的基于条件深度卷积生成对抗网络的端到端方言辨识方法，其特征在于，所述最终分类器为softmax分类器。