[发明专利]一种基于LSTM的独立说话人语音发音逆求解的方法

权利要求书

1.一种基于LSTM的独立说话人语音发音逆求解的方法，其特征在于，具体步骤如下：

(1)首先对指定4个人音频信号以及同步的轨迹信号进行采集，通过安放传感器对上唇(Upper lip，UL)、下唇(Lower lip，LL)、下齿龈(Lower incisor，LI)、舌尖(Tongue tip，TP)、舌中(Tongue body，TB)，舌根(Tongue dorsum，TD)六个点的数据进行采集；

(2)在步骤(1)之后，选定鼻梁(RF)为参考点，在参考点处也放置传感器进行数据的采集；

(3)在步骤(2)之后，选定其中三个记为A、B、C作为训练人，D作为测试人；

(4)将训练人的语音信号进行特征提取，提取梅尔频率倒谱系数(Mel FrequencyCepstrum Coefficient，MFCC)以及音素后验概率(phoneme posterior probabilities，PPP)；并且将梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient，MFCC)以及音素后验概率(phoneme posteriorprobabilities，PPP)作为联合输入特征(tandem)，输入到长短期记忆网络(Long Short-Term Memory，LSTM)网络中；获取MFCC步骤中Mel滤波的公式为，

其中，Mel(f)是把线性频率转成Mel频率的函数，f为线性频率；

(5)选定训练好的模型，将D的联合输入特征(tandem)作为输入，发音轨迹作为输出；对轨迹与采集到的轨迹计算RMSE和相关系数r进行数据推测，并与参考数据对比；

RMSE和相关系数r是衡量系统的两个指标；RMSE越小，误差越小，r越大，预测的轨迹与真实值的轨迹趋势越接近；公式如下：

其中e_i是网络预测的输出，t_i是在i时间的真实值；

其中e’是预测值的均值，t’是实际值的均值；

语音音频和语音轨迹同步数据是利用NDI公司的WAVE系统采集。

2.根据权利要求1所述的基于LSTM的独立说话人语音发音逆求解的方法，其特征在于，在步骤(5)中，推测出的RMSE为1mm-2mm，相关系数r为0.5-0.75。

3.根据权利要求2所述的基于LSTM的独立说话人语音发音逆求解的方法，其特征在于，所述LSTM为适合于处理和预测时间序列中间隔和延迟相对较长的重要事件的时间递归神经网络。

4.根据权利要求3所述的基于LSTM的独立说话人语音发音逆求解的方法，其特征在于，在步骤(4)中采用低通滤波器平滑轨迹。

5.根据权利要求4所述的基于LSTM的独立说话人语音发音逆求解的方法，其特征在于，所述音素后验概率(phoneme posterior probabilities，PPP)为零阶统计量。

6.根据权利要求4所述的基于LSTM的独立说话人语音发音逆求解的方法，其特征在于，在步骤(4)中，长短期记忆网络(Long Short-Term Memory，LSTM)网络为四层网络，前两层LSTM，每层100个节点，后两层采用全连接层，每层300个节点。

7.根据权利要求6所述的基于LSTM的独立说话人语音发音逆求解的方法，其特征在于，使用ReLU作为激活函数(activationfunction)，采用RMSE作为损失函数(Loss function)，选用Adam作为优化器(optimizer)，并设置dropout为0.2；语音轨迹选择传感器的x轴、y轴共六个传感器，2*6维作为输出。