[发明专利]基于端到端深度神经网络的音频信号处理方法及装置

说明书

本申请揭示了一种基于端到端深度神经网络的音频信号处理方法、装置、存储介质及计算机设备，该方法包括获取音频信号；对音频信号进行分帧处理，得到分帧后的时域信号；将分帧后的时域信号输入预设的第一加窗层进行处理，得到第一输出信号；将第一输出信号输入预设的第一傅里叶变换层进行计算，得到第二输出信号；将所述第二输出信号输入预设的听觉滤波层进行计算，得到已转换成听觉域的第三输出信号，其中所述第一加窗层、第一傅里叶变换层以及听觉滤波层为可训练的且作为深度神经网络的网络前端一部分，与现有技术中全连接方式的网络前端相比，其网络连接稀疏化，使得参数量、运算量大大减小。

技术领域

本申请涉及特征提取技术领域，具体涉及一种基于端到端深度神经网络的音频信号处理方法、装置、存储介质及计算机设备。

背景技术

目前，利用深度神经网络进行音频信号处理，例如语音识别、语音分类、语音增强等，大多需要以音频的频域或者听觉域的信号作为输入。现有技术中，将音频信号从时域信号转换成频域或听觉域的信号，有两种方式：第一种方式是该转换过程独立于深度神经网络之外，对音频信号进行分帧、加窗、傅里叶变换等处理得到频域信号，或者在傅里叶变换后通过听觉域滤波器组的处理得到听觉域信号。第二种方式是把时域信号转化为频域或听觉域信号的过程，作为深度神经网络的前端层，使该过程的参数可训练化，该网络是“端到端”的形式。第一种方式可以节省计算机的运算资源消耗，但是被证实其效果不如第二种方式，而第二种方式主要采用全连接的方式来实现，由于其巨大的参数量以及时间复杂度，需耗费大量的运算资源。

发明内容

本申请的主要目的为提供一种基于端到端深度神经网络的音频信号处理方法、装置、存储介质、计算机设备，旨在解决现有技术中通过深度神经网络的前端层将时域信号转换成听觉域信号时需耗费大量运算资源的技术问题。

基于上述发明目的，本申请实施例提出一种基于端到端深度神经网络的音频信号处理方法，包括：

获取音频信号；

对所述音频信号进行分帧处理，得到分帧后的时域信号；

将所述时域信号输入预设的第一加窗层进行处理，得到第一输出信号，所述第一输出信号为通过所述第一加窗层处理后已增加帧与帧之间的连续性的时域信号；

将所述第一输出信号输入预设的第一傅里叶变换层进行计算，得到变换成频域信号的第二输出信号；

将所述第二输出信号输入预设的听觉滤波层进行计算，得到已转换成听觉域的第三输出信号，其中所述第一加窗层、第一傅里叶变换层以及听觉滤波层为可训练的且作为深度神经网络的一部分。

进一步地，所述时域信号帧长为K，所述将所述时域信号输入预设的第一加窗层进行处理的步骤，包括：

对各所述时域信号按数字自然顺序进行编号，得到各所述时域信号的序列，所述时域信号的序列为x＝{x(0)，x(1)，x(2)，...，x(K-1)}；

对所述时域信号按编号的奇偶数分别调整序号，得到偶数部分的所述时域信号序列为x1＝{x(0)，x(K/2)，x(2)，x(K/2+2)，...，x(K/2-2)，x(K-2)}，以及奇数部分的所述时域信号序列为x2＝{x(1)，x(K/2+1)，x(3)，x(K/2+3)，...，x(K/2-1)，x(K-1)}；

将调完序号的所述奇数部分拼接于所述偶数部分之后，得到各所述时域信号的序列为x'＝{x(0)，x(K/2)，x(2)，x(K/2+2)，...，x(K/2-2)，x(K-2)，x(1)，x(K/2+1)，x(3)，x(K/2+3)，...，x(K/2-1)，x(K-1)}，其中，K＝2^N，N为正整数；

对调序后的时域信号采用如下公式做加窗处理：x'为调完序号后的时域信号，W₀为窗系数，为哈达玛积符号。