[发明专利]一种采用嵌入式硬件运行神经网络的语音增强方法

说明书

本发明公开了一种采用嵌入式硬件运行神经网络的语音增强方法，涉及语音信号处理领域，包括：通过语音传感器采集语音数据，并通过FPGA对语音数据进行傅里叶变换，得到语谱图数据；采用FPGA的逻辑单元构建R‑CED神经网络，得到R‑CED神经网络数字逻辑子系统；通过R‑CED神经网络数字逻辑子系统对语谱图数据进行降噪；通过FPGA对降噪后的语谱图数据进行时域还原，得到语音增强数据。本发明基于嵌入式硬件平台，通过FPGA构建实现神经网络，充分利用FPGA数字逻辑门阵列的并行性，相对于基于GPU、CPU等处理器的神经网络运行方式，大大提高了处理速度，保障了语音增强处理的实时性。

技术领域

本发明涉及语音信号处理领域，具体涉及一种采用嵌入式硬件运行神经网络的语音增强方法。

背景技术

语音增强技术指当纯净目标语音信号在复杂环境中被一种或多种噪声干扰甚至淹没后，通过一定的降噪算法抑制和降低噪声的影响，尽可能地将纯净目标语音提取出来的技术。其被广泛应用于移动通信、人机交互、军事通信等领域，用于消除和减弱各种噪声带来的负面影响。

随着物联网技术的发展，语音处理设备朝着智能化、终端化的方向快速发展，语音增强技术被大量应用于硬件平台。但是，物联网技术中的云计算模型，由于大量使用网络带宽，且不能实时反馈的原因，不适用与终端设备。为补充云计算的劣势，边缘计算模式应运而生。

边缘计算选择将运算任务分散到靠近数据源的轻量级设备中，在本地对部分数据直接进行采集和运算，实时反馈给用户。而随着半导体制造业工艺水平的提升，FPGA(FieldProgrammable Gate Array，FPGA)这类半定制集成电路芯片，以及片上系统SoC(system onchip，SoC)FPGA，为边缘计算提供了应用场景。虽然此类嵌入式设备具有本地采集、本地计算的优势，但其传输带宽、存储资源和计算资源的限制也阻碍了其大规模应用的发展。

而现有语音增强算法，通常基于机器学习技术，例如生成对抗网络(GenerativeAdversarial Networks，GAN)、自编码器结构的GAN和长短记忆(Long Short-Term Memory，LSTM)等网络模型。这些算法大部分都采用了结构各异且层数较深的神经网络模型，用较高的计算代价换取了部分性能的提升，导致这些复杂的神经网络，难以在资源有限的硬件平台实现。

发明内容

针对现有技术中的上述不足，本发明提供的一种采用嵌入式硬件运行神经网络的语音增强方法解决了目前基于神经网络的语音增强系统难以在资源有限的嵌入式硬件平台上实现的问题。

为了达到上述发明目的，本发明采用的技术方案为：

一种采用嵌入式硬件运行神经网络的语音增强方法，包括以下步骤：

S1、通过语音传感器采集语音数据，并通过FPGA对语音数据进行傅里叶变换，得到语谱图数据；

S2、采用FPGA的逻辑单元构建R-CED神经网络，得到R-CED神经网络数字逻辑子系统；

S3、通过R-CED神经网络数字逻辑子系统对语谱图数据进行降噪；

S4、通过FPGA对降噪后的语谱图数据进行时域还原，得到语音增强数据。

进一步地，所述步骤S1中，通过Zynq7020型硬件平台FPGA的可编程逻辑PL端对语音数据进行傅里叶变换；

所述步骤S2中，采用Zynq7020型硬件平台FPGA的可编程逻辑PL端内的逻辑单元构建R-CED神经网络；

所述步骤S4中，通过Zynq7020型硬件平台FPGA的处理器系统PS端对降噪后的语谱图数据进行时域还原。

进一步地，所述步骤S2包括以下分步骤：