[发明专利]一种基于LSTM的电声门图语音转换方法

说明书

本发明提出了一种基于LSTM的电声门图语音转换方法，首先对电声门图提取特征并拼接，进一步对转换语音和标准语音的相似度进行设计，进一步对音素预测模型进行训练，最后使用训练好的模型由电声门图转换而得的特征序列对当前音素进行预测并以此合成语音。本发明通过对电声门图特征的提取和拼接，并结合LSTM网络和标准语音数据拆解得到的标准音素序列，得到一个以电声门图特征序列为输入，输出预测当前音素的预测模型，为设计训练模型所使用的损失函数，通过衡量标准语音和转换语音相似度的计算方法，解决了难以评估训练模型预测效果的问题，同时采用Klatt共振峰语音合成器，配置共振峰滤波器得到真实语音。

技术领域

本发明设计一种基于LSTM的电声门图语音转换方法，该方法可以通过获取当前时刻和过去时刻的电声门图数据的输入，预测当前应合成的语音，属于计算机领域。

背景技术

电声门图(Electroglottograph，简称EGG)是通过放置在喉部的两个电极采集到的说话时喉部的声带运动信息，与人发出的语音信息具有极高的相关性，从中提取特征可以用来恢复出对应的语音信息。

共振峰语音合成技术是目前较成熟的语音合成技术。共振峰语音合成利用声道对语音激励的共鸣特性，通过提取声道每个共振峰频率及其带宽作为参数，可以构成共振峰滤波器。配置共振峰滤波器的参数，即可以控制合成不同的语音。

在实际应用中，不少患者由于不同原因难以发出声音，但其声带依然能够振动，如果可以通过提取患者的电声门图来合成语音，则可以极大帮助患者恢复交流的能力。

发明内容

为了从电声门图数据中恢复语音数据，本发明提出了一种基于LSTM的电声门图语音转换方法。

本发明提出的一种基于LSTM的电声门图语音转换方法，其方法步骤为，

步骤A：对电声门图提取特征并拼接。

电声门图通过检测声带振动时的阻抗来检测声带闭合分开的情况，反映声带振动的规律性，其中包含着与语音相关的丰富的特征。为实现对语音的预测，选择提取电声门图信号的基频，单位时间能量，频率微扰，振幅微扰作为训练特征。电声门图信号是以时间为轴的一维信号，将其以20ms的长度分帧，计算该帧内电声门图的基频，单位时间能量，频率微扰，振幅微扰，再与前9帧计算的特征进行拼接，即可将电声门图信号转换成40维特征序列。

步骤B：对转换语音和标准语音的相似度进行设计。

设计一种计算合成语音与标准语音相似度的方法，所用来计算相似度采用的标准语音，并非是真实语音的采样数据，而是由标准语音分解得到的音素序列；合成语音也不是真实的合成语音数据，而是模型输出的音素预测序列。通过将标准语音和合成语音以音素的形式序列化，则将语音合成的问题转化成了对当前时刻音素预测的问题。合成语音与标准语音的相似度计算问题，即转化成了标准音素序列与预测音素序列的相似度计算问题。采用交叉熵作为计算两序列相似度的方式，交叉熵越大，相似度越低。

步骤C：对音素预测模型进行训练。

应用中还提供了一种基于LSTM(Long-short term memory)的音素预测模型设计方法，LSTM模型是一种特殊的RNN模型。在传统的RNN模型中，模型参数的更新使用的是随时间反向传播算法(BPTT)，当时间间隔变长时，需要回传的残差会呈现指数下降，造成梯度弥散的问题，导致网络参数更新缓慢，难以收敛。而LSTM网络的提出正是为了解决传统RNN网络难以实现长期记忆的问题。

首先准备大量语料，从语料中提取音素序列作为标准数据，并从多个患者获得语料相应的电声门图数据，将其转化成特征序列作为模型的训练数据。结合电声门图信号产生的特征序列与LSTM网络，可实现预测模型的训练和预测模型对音素的预测。