[发明专利]一种融合超声波信号特征的语音增强方法及系统

说明书

本发明公开了一种融合超声波信号特征的语音增强方法及系统，先预定义超声信号，再使用设备自带的扬声器和麦克风主动发射和接收超声信号，进行信道估计得到信道冲击响应作为反映用户说话时面部发声器官的运动特征作为语音的一种补充模态信息输入神经网络中实现语音增强。本发明充分利用了用户发声动作特征辅助语音增强任务，提高了语音增强效果，具有广泛的应用前景。

技术领域

本发明属于声音处理技术领域，具体涉及一种融合超声波信号特征的语音增强方法及系统。

背景技术

语音在传输过程中会不可避免的受到来自周围环境的干扰，这些干扰会严重影响语音接收时的质量，导致接收到的信号不再是原始的纯净语音信号，而是带有各种干扰噪声的语音信号，这会降低语音的质量和可懂度，影响语音收听者的听感以及语音识别的准确度，因此需要通过语音增强技术减小环境的影响，提高语音质量和可懂度。

在各种语音增强方法中，基于深度神经网络的语音增强因其出色的效果，吸引了研究人员的广泛关注。在深度神经网络的基础上，引入多模态信息更是有效地提高了语音增强的性能。但基于多模态的语音增强主要是利用声音和视觉两种模态，而视觉信息会受到光照条件的影响，并且需要视觉传感器的支持，同时也会带来隐私问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种融合超声波信号特征的语音增强方法及系统，充分利用用户说话时的发声动作且不需要视觉信息的支持，有效提高语音增强的效果。

本发明采用以下技术方案：

一种融合超声波信号特征的语音增强方法，其特征在于，包括以下步骤：

S1、移动设备同时发射并接收预定义的超声信号，在发射超声信号的同时，发送用户语音；移动设备接收到描绘发声动作的超声波信号和用户语音；超声波信号用于信道估计以提取信道冲击响应矩阵，将信道冲击响应矩阵沿时间轴逐位求一阶差分得到一阶差分信道冲击响应，对用户语音进行降采样，再经短时傅里叶变换得到语音信号的时频谱图；

S2、将步骤S1得到的一阶差分信道冲击响应和语音信号的时频谱图分别输入深度复数神经网络，深度复数神经网络预测复值比率掩码，将语音信号的时频谱图与预测的复值比率掩码逐位相乘得到增强语音的时频谱图，然后通过逆短时傅里叶变换得到增强后的时序语音信号，实现语音增强。

具体的，步骤S1具体为：

S101、发射端的超声信号选择26位GSM序列作为基础序列，每一段超声信号的采样点数为480，当超声波的采样率为48KHz时，系统以100Hz的频率计算信道冲击响应，将GSM训练序列进行12倍上采样，然后在结尾添加168位的零值作为保护位形成一段训练序列，最后将发射信号乘以以上变频到超声频带，同时进行带通滤波使超声信号保持在18～22KHz，根据GSM序列进行采样及补零插值后生成的训练序列帧的数据得到循环训练序列矩阵M；

S102、在接收端，通过滤波器将接收到的超声信号划分成两部分：通过截止频率为8KHz的低通滤波器得到带噪的用户语音，对用户语音部分从48KHz降采样到16KHz，然后以20毫秒的汉明窗和10毫秒的跳跃长度进行短时傅里叶变换得到语音信号的时频谱图，作为神经网络语音分支的输入；

S103、将信道冲击响应矩阵沿时间轴逐位求一阶差分得到dCIR，然后将dCIR作为神经网络超声分支的输入。

进一步的，步骤S101中，循环训练序列矩阵M由训练序列的数据部分D＝{m₁,m₂,…,m_P}，循环训练序列矩阵M为：

其中，P是训练序列中数据部分的长度。