[发明专利]轻量级多说话人语音合成系统及电子设备

权利要求书

1.一种轻量级多说话人语音合成系统，其特征在于，包括：

文本特征提取和规整模块，用于采用轻量级编码器将待处理的文本信息进行编码和特征提取，并采用轻量级时长预测网络对轻量级编码器输出的文本深层特征对应的每个词或音素进行时长预测，以及用于进行长度规整处理，以得到与目标梅尔频谱长度相等的规整的文本特征，所述目标梅尔频谱为所述待处理的文本信息所要转化的语音的梅尔频谱；

说话人特征提取模块，用于基于时延神经网络从目标说话人的语音对应的梅尔频谱中提取出目标说话人的深度特征向量并进行归一化处理，以生成能够表征目标说话人的特征；

特征融合模块，用于将目标说话人的特征与规整的文本特征进行融合；以及

语音生成模块，用于采用轻量级解码器对融合后的特征进行深层特征提取，并用于将提取出的深层特征映射至与目标梅尔频谱相同的维度，基于预测的残差信息和映射后的深层特征生成待处理的文本对应的目标梅尔频谱，以及将生成的目标梅尔频谱转换为人耳能够听到的语音。

2.根据权利要求1所述的轻量级多说话人语音合成系统，其特征在于，所述轻量级编码器和所述轻量级解码器包括：多层轻量级前馈网络，每层轻量级前馈网络包括：轻量级卷积或轻量级动态卷积，

其中，所述轻量级卷积的卷积核权重在训练之后是固定的，所述轻量级动态卷积的卷积核权重根据当前输入的词或音素的嵌入特征动态生成；

所述轻量级卷积或轻量级动态卷积沿着词向量通道维度划分为不同的组，每组都进行独立的计算，并且组内的卷积核参数是共享的；在每组的计算过程中使用深度可分离卷积，使得每组内词向量各个通道能够并行计算。

3.根据权利要求1所述的轻量级多说话人语音合成系统，其特征在于，所述轻量级编码器和所述轻量级解码器包括：多层轻量级前馈网络，每层轻量级前馈网络包括：轻量级卷积或轻量级动态卷积，所述轻量级卷积的卷积核权重在训练之后是固定的，所述轻量级动态卷积的卷积核权重根据当前输入的词或音素的嵌入特征动态生成；每层轻量级前馈网络还包括：自注意力神经网络和信息融合模块；

其中，待处理的文本信息以词向量形式输入，基于特征通道掩码将所述输入的文本信息沿着词向量通道维度分割为两个部分，其中一个部分使用轻量级卷积或轻量级动态卷积提取局部上下文信息，其中另一个部分通过自注意力神经网络提取全局信息；所述信息融合模块用于将所述局部上下文信息和所述全局信息进行融合。

4.根据权利要求3所述的轻量级多说话人语音合成系统，其特征在于，每层轻量级前馈网络还包括：深度可分离卷积和分组卷积；其中，信息融合模块融合后的信息经过归一化处理后再经过所述深度可分离卷积和所述分组卷积进行深层文本特征的提取。

5.根据权利要求2所述的轻量级多说话人语音合成系统，其特征在于，每层轻量级前馈网络还包括：深度可分离卷积和分组卷积；其中，轻量级卷积或轻量级动态卷积输出的信息经过归一化处理后再经过所述深度可分离卷积和所述分组卷积进行深层文本特征的提取。

6.根据权利要求2-5中任一项所述的轻量级多说话人语音合成系统，其特征在于，所述文本特征提取和规整模块包括：所述轻量级编码器、所述轻量级时长预测网络、特征长度规整模块以及绝对位置编码层；

其中，所述轻量级时长预测网络用于接收轻量级编码器输出的文本深层特征，并基于多层深度可分离卷积网络预测出文本深层特征对应的每个词或者音素的时长；

所述特征长度规整模块用于根据预测的时长将轻量级编码器输出的文本深层特征的长度进行拓展，使得拓展后的文本深层特征的长度与目标梅尔频谱的长度一致；

所述绝对位置编码层用于为每个文本深度特征标注位置信息，使得轻量级编码器中的多层轻量级前馈网络能够利用所述位置信息来提取更具表征能力的特征。