[发明专利]多模态的语音合成方法、装置、设备及存储介质

说明书

本发明涉及人工智能领域，公开了一种多模态的语音合成方法、装置、设备及存储介质，该方法包括：获取并预处理原始语音数据和原始脑电数据，得到语音数据和脑电数据；将语音数据和脑电数据输入至预设的自编码器进行变分自编码，得到隐含表征；对隐含表征进行概率计算，得到先验分布；根据预设的贝叶斯公式，对先验分布进行多模态深度表征学习，得到后验分布，并根据预设的期望‑最大值算法，对后验分布进行混合高斯处理；根据处理后的先验分布和后验分布，对隐含表征进行参数重构处理，生成情感语音。本发明通过对脑电数据和语音数据进行处理，提取情感信息以合成情感语音，提高了合成语音的自然度和人机交互的友好度。

技术领域

本发明涉及人工智能领域，尤其涉及一种多模态的语音合成方法、装置、设备及存储介质。

背景技术

情绪识别是人机交互的重要功能，识别用户的情绪并根据识别的情绪生成相应情绪的语音来给用户反馈将是语音合成未来的方向。然而目前的语音合成只是通过获取语音数据中声音的韵律等音色信息，并根据所获取到的音色信息合成语音。

通过现有技术合成语音并没有考虑到语音数据中包含的情感信息，只注重于准确的表达语音的文字信息，但是语音的文字信息仅仅是语音信息中的一部分信息，导致合成的语音自然度低，影响人机交互的友好度，因此，如何合成具有情感色彩的情感语音是一个亟需解决的问题。

发明内容

本发明的主要目的在于解决现有技术中不能合成情感语音导致合成语音的自然度低的技术问题。

本发明第一方面提供了一种多模态的语音合成方法，所述多模态的语音合成方法包括：获取原始语音数据和原始脑电数据，并分别对所述语音数据和所述原始脑电数据进行预处理，得到语音数据和脑电数据；将所述语音数据和所述脑电数据输入至预设的自编码器进行变分自编码，得到隐含表征；对所述隐含表征进行概率计算，得到先验分布，并根据预设的概率密度函数，对所述先验分布进行标准高斯处理；根据预设的贝叶斯公式，对所述先验分布进行多模态深度表征学习，得到后验分布，并根据预设的期望-最大值算法，对所述后验分布进行混合高斯处理；根据处理后的所述先验分布和所述后验分布，对所述隐含表征进行参数重构处理，生成情感语音。

可选的，在本发明的第一方面的第一种实现方式中，所述获取原始语音数据和原始脑电数据，并分别对所述语音数据和所述原始脑电数据进行预处理，得到语音数据和脑电数据包括：获取说话人的原始语音数据和原始脑电数据；提取所述原始语音数据中的语音能量，并根据预设的语音能量阈值和所述语音能量，对所述原始语音数据进行静音移除处理，得到语音数据；调用预设的独立成分分析及带通滤波工具对所述原始脑电数据进行过滤处理，得到脑电数据。

可选的，在本发明的第一方面的第二种实现方式中，所述将所述语音数据和所述脑电数据输入至预设的自编码器进行变分自编码，得到隐含表征包括：提取所述语音数据中的音素及其音素特征，并根据预设的音素类别，对所述音素的音素特征进行分析，确定各所述音素对应的音素类别；根据所述音素及各所述音素对应的音素类别，对所述脑电数据进行分析，确定各音素对应的脑电特征；将所述语音数据输入至预设的自编码器中，调用所述自编码器对所述语音数据中的音素进行变分自编码，并将所述脑电数据输入至所述自编码器中，调用所述自编码器对所述脑电特征进行变分自编码，得到隐含表征。

可选的，在本发明的第一方面的第三种实现方式中，所述对所述隐含表征进行概率计算，得到先验分布，并根据预设的概率密度函数，对所述先验分布进行标准高斯处理包括：对所述隐含表征进行总体分布分析，得到总体分布参数；分别计算所述总体分布参数的分布函数和密度函数；根据所述分布函数和所述密度函数生成先验分布；根据预设的概率密度函数，对所述先验分布进行概率分布计算，得到标准高斯分布。