[发明专利]情感语音的合成方法、装置、设备及存储介质

说明书

本发明涉及人工智能技术领域，公开了情感语音的合成方法、装置、设备及存储介质，用于解决合成语音平淡、缺乏情感的问题，增加合成语音的多样性。情感语音的合成方法包括：获取待识别语音数据和对应的文本数据；将所述待识别语音数据输入预先训练好的情感识别网络中，生成梅尔谱特征和位置编码，并结合所述梅尔谱特征和所述位置编码在所述情感识别网络中进行处理，生成情感嵌入特征；将所述情感嵌入特征和所述文本数据输入预先训练好的语音合成网络中，生成目标梅尔谱数据；采用神经声码器对所述目标梅尔谱数据进行语音转换，生成目标情感语音。此外，本发明还涉及区块链技术，待识别语音数据和文本数据可存储于区块链中。

技术领域

本发明涉及语音合成技术领域，尤其涉及一种情感语音的合成方法、装置、设备及存储介质。

背景技术

随着科技的发展，智能客服中心、聊天机器人、智能音箱等人工智能服务走进我们的日常生活，且发挥着越来越重要的作用。这种人工智能服务器通常涉及到语音合成技术，因此语音合成技术也得到了更为广泛的应用。

在现有技术中，语音合成方法主要为基于隐马尔可夫的语音合成方式或者基于神经网络的语音合成方式，这两种语音合成方式虽然可以获得不错的合成语音，但是生成的合成语音平淡、缺乏情感，从而无法获得饱含情感的语音。

发明内容

本发明提供了一种情感语音的合成方法、装置、设备及存储介质，用于解决合成语音平淡、缺乏情感的问题，增加合成语音的多样性。

本发明第一方面提供了一种情感语音的合成方法，包括：获取待识别语音数据和对应的文本数据；将所述待识别语音数据输入预先训练好的情感识别网络中，生成梅尔谱特征和位置编码，并结合所述梅尔谱特征和所述位置编码在所述情感识别网络中进行处理，生成情感嵌入特征；将所述情感嵌入特征和所述文本数据输入预先训练好的语音合成网络中，生成目标梅尔谱数据；采用神经声码器对所述目标梅尔谱数据进行语音转换，生成目标情感语音。

可选的，在本发明第一方面的第一种实现方式中，所述将所述待识别语音数据输入预先训练好的情感识别网络中，生成梅尔谱特征和位置编码，并结合所述梅尔谱特征和所述位置编码在所述情感识别网络中进行处理，生成情感嵌入特征包括：将所述待识别语音数据输入预先训练好的情感识别网络中，生成梅尔谱特征；根据所述梅尔谱特征和预置的位置转换公式，生成位置编码；将所述梅尔谱特征和所述位置编码输入所述情感识别网络的编码器中进行编码，生成情感嵌入特征。

可选的，在本发明第一方面的第二种实现方式中，所述将所述待识别语音数据输入预先训练好的情感识别网络中，生成梅尔谱特征包括：对所述待识别语音数据进行加窗处理，生成加窗后的语音数据；对所述加窗后的语音数据进行短时傅里叶变换，生成傅里叶变换后的语音数据；采用梅尔滤波器组对所述傅里叶变换后的语音数据进行处理，生成梅尔谱特征。

可选的，在本发明第一方面的第三种实现方式中，所述根据所述梅尔谱特征和预置的位置转换公式，生成位置编码包括：读取梅尔谱特征的长度，并读取梅尔谱特征的位置；基于所述梅尔谱特征的长度和所述梅尔谱特征的位置，生成位置输入值；将所述位置输入向量输入预置的位置转换公式，生成位置编码。

可选的，在本发明第一方面的第四种实现方式中，所述将所述梅尔谱特征和所述位置编码输入所述情感识别网络的编码器中进行编码，生成情感嵌入特征包括：将所述梅尔谱特征和所述的位置编码输入所述情感识别网络的多头自注意力层中，结合残差连接，生成初始情感特征向量；将所述初始情感特征向量输入所述情感识别网络的前向传播层中进行卷积，生成情感嵌入特征。

可选的，在本发明第一方面的第五种实现方式中，所述将所述情感嵌入特征和所述文本数据输入预先训练好的语音合成网络中，生成目标梅尔谱数据包括：在预先训练好的语音合成网络中，将所述文本数据转换为文本嵌入特征；按照时刻顺序，将所述文本嵌入特征和所述情感嵌入特征进行拼接，生成目标梅尔谱数据。