[发明专利]多风格音频合成方法、装置、设备及存储介质

说明书

本发明涉及人工智能领域，公开了一种多风格音频合成方法、装置、设备及存储介质。该方法包括：获取待处理的文本数据和单风格的第一梅尔谱；将所述第一梅尔谱输入预置风格提取网络进行特征提取，得到第一风格特征；将所述文本数据输入预置梅尔谱生成网络中的编码器进行特征提取以及将提取到的第一文本特征与所述第一风格特征进行拼接，得到第一融合特征；将所述第一融合特征输入预置梅尔谱生成网络中的解码器进行特征转换，得到第二梅尔谱；将所述第二梅尔谱输入预置声码器进行音频生成，得到多风格音频。本发明利用风格特征作为声码器的条件特征，能够生成多风格的音频。

技术领域

本发明涉及人工智能领域，尤其涉及一种多风格音频合成方法、装置、设备及存储介质。

背景技术

随着语音合成技术的高速发展，语音合成在情感计算、信号处理领域具有重要的研究意义。语音合成领域产生了越来越多基于深度学习的声学建模方法。深度学习技术极大地推进了音频合成领域的发展，音频合成技术也大大地提升了人机交互的体验。音频合成技术赋予了计算机像人一样的说话能力，可以从声学特征中捕捉到发音特点，合成流畅度较好、韵律较好的音频。

目前虽然有很多音频合成方法可以合成高质量逼真的音频，但这些音频往往只具有单一的风格，比如只是单一说话人，合成出的语音只含有一种情感，或者合成的风格往往是播报风格、客服风格、朗诵风格等其中的一种风格，如何使合成的音频具有多种风格仍是音频合成领域的一个重要问题。

发明内容

本发明的主要目的在于解决现有合成音频存在风格单一而无法满足用户需求的技术问题。

本发明第一方面提供了一种多风格音频合成方法，所述多风格音频合成包括：

获取待处理的文本数据和单风格的第一梅尔谱；

将所述第一梅尔谱输入预置风格提取网络进行特征提取，得到第一风格特征；

将所述文本数据输入预置梅尔谱生成网络中的编码器进行特征提取以及将提取到的第一文本特征与所述第一风格特征进行拼接，得到第一融合特征；

将所述第一融合特征输入预置梅尔谱生成网络中的解码器进行特征转换，得到第二梅尔谱；

将所述第二梅尔谱输入预置声码器进行音频生成，得到多风格音频。

可选的，在本发明第一方面的第一种实现方式中，所述风格提取网络采用的第一训练模型包括：三层CNN网络、VIB网络、GRU网络、线性层和归一化层，在所述获取待处理的文本数据和单风格的第一梅尔谱之前，还包括：

获取多种单风格的梅尔谱样本；

将所述梅尔谱样本输入所述三层CNN网络进行特征提取，得到第一特征向量；

将所述第一特征向量输入所述VIB网络进行特征分解，得到第一分解向量；

将所述第一分解向量输入所述GRU网络进行风格提取，得到第一风格特征向量；

将所述第一风格特征向量输入所述线性层进行线性运算，得到第一风格输出向量；

将所述第一风格输出向量输入所述归一化层进行归一化处理，得到第二风格特征；

根据所述第二风格特征，调用预置损失函数对所述第一训练模型进行优化，直至所述第一训练模型收敛，得到所述风格提取网络。

可选的，在本发明第一方面的第二种实现方式中，所述梅尔谱生成网络采用的第二训练模型包括：编码器和解码器，其中，所述编码器依次由嵌入层、卷积神经网络和LTSM网络构成，所述解码器依次由Pre-net网络、RNN网络和两层残差GRU网络构成，在所述获取待处理的文本数据和单风格的第一梅尔谱之前，还包括：

获取多个文本数据样本和多种风格特征样本；