[发明专利]多风格音频合成方法、装置、设备及存储介质

权利要求书

1.一种多风格音频合成方法，其特征在于，所述多风格音频合成方法包括：

获取待处理的文本数据和单风格的第一梅尔谱；

将所述第一梅尔谱输入预置风格提取网络进行特征提取，得到第一风格特征；

将所述文本数据输入预置梅尔谱生成网络中的编码器进行特征提取以及将提取到的第一文本特征与所述第一风格特征进行拼接，得到第一融合特征；

将所述第一融合特征输入预置梅尔谱生成网络中的解码器进行特征转换，得到第二梅尔谱；

将所述第二梅尔谱输入预置声码器进行音频生成，得到多风格音频。

2.根据权利要求1所述的多风格音频合成方法，其特征在于，所述风格提取网络采用的第一训练模型包括：三层CNN网络、VIB网络、GRU网络、线性层和归一化层，在所述获取待处理的文本数据和单风格的第一梅尔谱之前，还包括：

获取多种单风格的梅尔谱样本；

将所述梅尔谱样本输入所述三层CNN网络进行特征提取，得到第一特征向量；

将所述第一特征向量输入所述VIB网络进行特征分解，得到第一分解向量；

将所述第一分解向量输入所述GRU网络进行风格提取，得到第一风格特征向量；

将所述第一风格特征向量输入所述线性层进行线性运算，得到第一风格输出向量；

将所述第一风格输出向量输入所述归一化层进行归一化处理，得到第二风格特征；

根据所述第二风格特征，调用预置损失函数对所述第一训练模型进行优化，直至所述第一训练模型收敛，得到所述风格提取网络。

3.根据权利要求1所述的多风格音频合成方法，其特征在于，所述梅尔谱生成网络采用的第二训练模型包括：编码器和解码器，其中，所述编码器依次由嵌入层、卷积神经网络和LTSM网络构成，所述解码器依次由Pre-net网络、RNN网络和两层残差GRU网络构成，在所述获取待处理的文本数据和单风格的第一梅尔谱之前，还包括：

获取多个文本数据样本和多种风格特征样本；

将所述文本数据样本输入所述嵌入层进行向量转换，得到第一文本初始向量；

将所述第一文本初始向量输入所述卷积神经网络进行特征提取，得到第一文本特征向量；

将所述第一文本特征向量输入所述LTSM网络进行文本转换，得到第二文本特征；

拼接所述第二文本特征和所述风格特征样本，得到第二融合特征；

将所述第二融合特征输入所述Pre-net网络进行非线性变换，得到第一融合序列；

将所述第一融合序列输入所述RNN网络进行函数运算，得到第一声谱图；

将所述第一声谱图输入所述两层残差GRU网络进行残差运算，得到第三梅尔谱；

根据所述第三梅尔谱，调用预置优化函数对所述第二训练模型进行参数优化，直至所述第二训练模型收敛，得到所述梅尔谱生成网络。

4.根据权利要求2所述的多风格音频合成方法，其特征在于，所述将所述第一梅尔谱输入预置风格提取网络进行特征提取，得到第一风格特征包括：

将所述第一梅尔谱输入所述三层CNN网络进行特征提取，得到第二特征向量；

将所述第二特征向量输入所述VIB网络进行特征分解，得到第二分解向量；

将所述第二分解向量输入所述GRU网络进行风格提取，得到第二风格特征向量；

将所述第二风格特征向量输入所述线性层进行线性运算，得到第二风格输出向量；

将所述第二风格输出向量输入所述归一化层进行归一化处理，得到所述第一风格特征。

5.根据权利要求3所述的多风格音频合成方法，其特征在于，所述将所述文本数据输入预置梅尔谱生成网络中的编码器进行特征提取以及将提取到的第一文本特征与所述第一风格特征进行拼接，得到第一融合特征包括：

将所述文本数据输入所述嵌入层进行向量转换，得到第二文本初始向量；

将所述第二文本初始向量输入所述卷积神经网络进行特征提取，得到第二文本特征向量；

将所述第二文本特征向量输入所述LTSM网络进行文本转换，得到第一文本特征；

拼接所述第一风格特征与所述第一文本特征，得到所述第一融合特征。