[发明专利]一种深度双向门递归神经网络的骨导语音增强方法

摘要

本发明提出了一种深度双向门递归神经网络的骨导语音增强方法，利用双向门递归神经网络模型训练骨导到气导语音特征，并利用训练好的双向门递归神经网络模型增强骨导语音。本发明利用深度学习强大的非线性映射性能实现骨导语音特征到气导语音特征的转换，使用的门递归神经网络是长短时记忆递归神经网络的一种变形，可有效对语音的长时依赖进行建模，并且参数更少训练更快，同时本发明从两个方向上对语音特征的上下文进行建模，更能有效恢复骨导语音中缺失信息，并能够有效提升骨导语音的清晰度与可懂度，改善骨导语音质量，达到良好的增强效果。

主权项

1.一种深度双向门递归神经网络的骨导语音增强方法，其特征在于如下步骤：步骤一：提取气导AC和骨导BC语音特征，并对提取的语音特征进行数据预处理以符合神经网络的输入需求，然后进入步骤二进行训练；步骤二：训练时，以骨导语音特征作为训练输入，以气导语音特征作为训练目标，采用时间反向传播算法训练深度双向门递归神经网络模型，并存储训练好的深度双向门递归神经网络模型；步骤三：提取待增强的骨导语音特征，并根据步骤一所获得的语音特征数据统计特征进行数据归一化，然后进入步骤四进行骨导语音增强；步骤四：增强时，利用步骤二训练好的双向门递归神经网络对步骤三提取的骨导语音特征进行增强，再对神经网络的输出进行反归一化和特征逆变换，最终得到增强后的骨导时域语音；所述步骤一的语音特征提取过程：①语音数据是由同一个人同时佩戴AC与BC麦克风设备录制的AC与BC语音数据对，AC语音可表示为A，BC语音可表示为B，利用短时傅里叶变换将AC与BC语音时域信号y(A)、y(B)分别变换到时频域，具体步骤为：(1)对语音时域信号y(A)、y(B)分别进行分帧加窗处理，窗函数为汉明窗，帧长为N，N取为2的整数次幂，帧间移动长度为H；(2)对分帧后的语音帧进行K点离散傅里叶变换，获得语音的时频谱YA(k,t)、YB(k,t)，具体计算公式如下：这里，k＝0,1,···,K‑1表示离散频率点，K表示离散傅里叶变换时的频率点数，K＝N，t＝0,1,···,T‑1表示帧序号，T为分帧的总帧数，h(n)为汉明窗函数；②对频谱Y(k,t)取绝对值，计算得到幅度谱MA、MB，计算公式如下：M(k,t)＝|Y(k,t)|③对幅度谱M(k,t)取以e为底的对数，得到对数幅度谱LA、LB，计算公式如 下：L(k,t)＝lnM(k,t)所述步骤四中利用训练好的神经网络模型实现BC语音特征增强，将归一化后的数据作为输入特征送入网络中，计算得到网络输出，即增强后的特征 所述数据反归一化以及逆变换过程，最终得到增强后的骨导时域语音的步骤如下：①根据训练阶段AC语音对数幅度谱的均值和方差将双向门递归神经网络得到的输出进行反归一化，得到对数幅度谱计算公式如下：②将对数幅度谱进行指数运算，得到幅度谱计算公式如下：③利用幅度谱以及相位信息计算得到时频谱计算公式如下：④利用傅里叶逆变换以及语音分帧后去重叠加公式，将频谱转化到时域，最终得到增强后的时域语音y(B_E)。