[发明专利]基于激活指导和内卷积的跨语种语音转换方法

权利要求书

1.一种基于激活指导和内卷积的跨语种语音转换方法，其特征在于，包括训练阶段和转换阶段；

所述训练阶段包括以下步骤：

步骤1、获取大量的训练语料，训练语料由不同语言的多名说话人的语句组成；

步骤2、将获取的训练语料通过预处理和特征提取后，得到固定帧长的梅尔频谱特征片段，表征为声学特征X；

步骤3、将所述声学特征输入到转换网络中进行训练，所述转换网络由编码器和解码器两部分组成；

其中，所述编码器用于对说话人的语音进行解耦，从中获得语句的内容信息和说话人信息，所述编码器和解码器采用U型连接，用于将说话人信息从编码器传递到解码器中，所述解码器用于将获得的说话人信息和内容信息重构，得到重构后的梅尔频谱，表征为声学特征X'；

步骤4、对转换网络进行训练过程中，使所述转换网络的重构损失函数尽量小，设置所述转换网络的超参数，使得目标函数最小化，直至设置的迭代次数，从而得到训练好的转换网络；

所述转换阶段包括以下步骤：

步骤5、选取不同语种的语音作为待转换语料，分别提取待转换语音的源梅尔频谱特征X₁和目标梅尔频谱特征X₂作为声学特征向量；

步骤6、将所述声学特征X₁，X₂输入到训练好的转换网络中，重构出转换语句的梅尔频谱特征X_1→2；

步骤7、采用Griffin-Lim声码器，将获得的转换语句的梅尔频谱特征转换为语音进行输出，进而获得跨语种语音转换的合成语音。

2.根据权利要求1所述的基于激活指导和内卷积的跨语种语音转换方法，其特征在于，所述编码器包括2个一维卷积层、卷积模块、实例归一化层以及激活指导层，所述卷积模块由1个通道数为256的一维标准卷积层、批次归一化层、激活指导层以及内卷积层组成，所述卷积模块和实例归一化层交替放置。

3.根据权利要求2所述的基于激活指导和内卷积的跨语种语音转换方法，其特征在于，所述实例归一化层的公式为：

其中，x为实例归一化层的输入，μ_nc(x)和σ_nc(x)分别表示给定n和c，沿着c方向计算x的均值和标准差，用以表征说话人信息；n表示批次，c表示通道数，L表示帧长，ε表示一个很小的值，防止标准差为0。

4.根据权利要求2所述的基于激活指导和内卷积的跨语种语音转换方法，其特征在于，所述激活指导层的公式为：

其中，x为激活指导层的输入，α为超参数。

5.根据权利要求1所述的基于激活指导和内卷积的跨语种语音转换方法，其特征在于，所述解码器包括2个一维卷积层、卷积模块、自适应实例归一化层、门控循环单元层以及全连接层，所述卷积模块由1个通道数为256的一维卷积层、批次归一化层、激活函数层以及内卷积层组成，所述卷积模块和自适应实例归一化层交替放置。

6.根据权利要求5所述的基于激活指导和内卷积的跨语种语音转换方法，其特征在于，所述自适应实例归一化层的公式为：

AdaIN(σ(x),μ(x),y)＝σ(x)IN(y)+μ(x)

其中，y表示自适应实例归一化层的输入，μ(x)和σ(x)表示所述编码器提取的说话人信息，IN(y)表示对y做实例归一化。

7.根据权利要求1或2或5所述的基于激活指导和内卷积的跨语种语音转换方法，其特征在于，所述内卷积是指：在通道维度采用共享的卷积核，在空间维度采用空间特异的卷积核进行灵活建模，即通过输入的特征图生成对应的内卷积核，确保内卷积核与输入特征图在空间维度上能够自动对齐，所述内卷积核的生成函数表示为：

H_l＝φ(X_l)

其中X_l表示输入特征图中第l个特征点，φ表示核生成函数，H_l表示内卷积核。