[发明专利]一种直播中环境噪声抑制的方法、装置、电子设备及存储介质

权利要求书

1.一种直播中环境噪声抑制的方法，其特征在于，包括：

获取待处理的直播音频数据流，将所述直播音频数据流最前列固定长度数据放入输入缓冲区；

将所述输入缓冲区的音频时域信号序列输入音频处理模型进行处理，所述音频处理模型至少包括频域处理过程和时域处理过程，

所述频域处理过程至少包括：经过傅里叶变换转换为语音频谱，所述语音频谱的幅值至少经过循环神经网络模型和非线性激活函数，生成幅值系数序列，所述幅值系数序列与所述音频时域信号序列的初始幅值进行相值相乘，在频谱相位保持不变的情况下从而得到新的幅值；

时域处理过程至少包括：将所述新幅值的语音频谱通过逆傅里叶变换，得到时域信号，后所述时域信号经过循环神经网络模型和非线性激活函数，生成输入信号长度相等的系数序列，并与之前的时域信号进行相乘，获得经过噪声抑制处理的新语音信号。

2.如权利要求1所述的方法，其特征在于，还包括：经过所述噪声抑制的新语音信号与所述音频时域信号序列按比例进行叠加后输出。

3.如权利要求1所述的方法，其特征在于，与之前的时域信号进行相乘之后还包括：再通过一维卷积核大小和跨度都为N，输出空间维度为输入信号长度的卷积层，后输出经过噪声抑制的语音信号。

4.如权利要求1所述的方法，其特征在于，还包括：

收集纯语音音频和噪声音频的样本集，按照预先采样率和分辨率采样其波形，经过等比例混叠作为音频处理模型的输入，而纯语音音频波形作为真实值，损失函数采用所有样本的信噪比的相反数平均值，其中模型输出音频波形作为预估值，所述样本集分成训练集和验证集，通过所述训练集训练所述模型，通过所述验证集验证所述模型。

5.如权利要求1所述的方法，其特征在于，获取待处理的直播音频数据流，将所述直播音频数据流最前列固定长度数据放入输入缓冲区进一步包括：

设置输入缓冲区和输出缓冲区固定为block_len的相同长度并且初始为0，每次处理偏移长度block_shift且block_shift不大于block_len的数据；

将直播音频数据流中获取最前列block_len长度的数据；

将所述数据放入所述输入缓冲区，以便输入音频处理模型进行环境噪声抑制处理，

处理后，输出缓冲区的前block_shift长度信号幅值到输出缓冲区，并且输出缓冲器中的信号序列前移block_shift长度，后方补0。

6.如权利要求1所述的方法，其特征在于，所述语音频谱的幅值至少经过循环神经网络模型和非线性激活函数进一步包括：

频谱的幅值经过m个LSTM循环神经网络和sigmoid函数：f(x)＝1/(1+exp(-x))处理，生成幅值系数序列。

7.如权利要求4或5所述的方法，其特征在于，从直播音频数据流对应的音频数据流中获得音频时域信号序列中包括采样步骤，所述采样率和分辨率与所述音频处理模型的样本集的采样率和分辨率适配，

并且所述音频处理模型的样本集采集若干种采样率和分辨率，不同的采样率和分辨率对应适配的所述音频处理模型，所述直播音频数据流对应的音频数据流中采样的采样率和分辨率为至少其中之一，并且输入对应的音频处理模型进行处理。

8.如权利要求7所述的方法，其特征在于：输入音频采样率和分辨率越高，采用的block_len、block_shift和LSTM隐藏节点数目越大，输入音频采样率和分辨率为16kHz时，输入和输出缓冲区block_len＝512，block_shift＝128，LSTM隐藏节点数目＝128；音频采样率和分辨率为44.1kHz时，输入和输出缓冲区block_len＝1024，block_shift＝256，LSTM隐藏节点数目＝256，模型频域处理部分LSTM输出长度与傅里叶变换后的长度(所述长度为输入波形长度的一半+1)相同，时域处理部分LSTM输出长度为256。