[发明专利]一种基于双通道卷积注意力网络的语音增强方法及系统

权利要求书

1.一种基于双通道卷积注意力网络的语音增强方法，其特征在于，所述语音增强方法包括以下步骤：

将带噪语音的对数幅度谱特征向量作为CNN通道的输入特征，学习所述输入特征不同粒度的深层信息，同时在该通道内添加卷积注意力模块，完成深度信息输出特征图在通道以及空间两个维度的重构，得到第一输出结果；

将带噪语音的对数幅度谱特征向量作为LSTM通道的输入特征，学习所述输入特征的序列信息，并在该通道内添加空间注意力模块，完成序列信息输出特征图在空间维度的重构，得到第二输出结果；

将第一输出结果和第二输出结果进行特征融合，融合后的增强特征作为全连接层的输入，进行增强语音的对数幅度谱特征预测；

将预测结果和带噪语音的相位结合得到增强语音的频域表示，并通过傅里叶逆变换转换回时域，再利用重叠相加的方法完成合成增强语音并输出。

2.根据权利要求1所述的一种双通道卷积注意力网络的语音增强方法，其特征在于，所述带噪语音的对数幅度谱特征向量的提取方式包括：对时域带噪语音进行加窗分帧，并对分帧结果进行傅里叶变换转换到时频域，提取带噪语音的对数幅度谱特征向量。

3.根据权利要求2所述的一种双通道卷积注意力网络的语音增强方法，其特征在于，所述对时域带噪语音进行加窗分帧，并对分帧结果进行傅里叶变换转换到时频域，提取带噪语音的对数幅度谱特征的步骤具体包括：

对带噪语音降采样到8000Hz，然后采用窗长为32ms、采样点位256个的汉明窗进行分帧处理，帧与帧之间有50％的重叠，即帧移为16ms、采样点位128个，之后对每一帧结果进行256点的傅里叶变换，将时域信号转换到频域；

对得到的每一帧的频域信号依次进行取模、取对数操作，表示如下：

Y_t＝ln(|X(t,d)|)

其中，Y_t代表第t时间帧、第d个频带的带噪语音X(t,d)的对数幅度谱特征；

对带噪语音的对数幅度谱特征进行帧扩展，表示如下：

Y＝[Y_t-n,Y_t-n+1…Y_t-1,Y_t,Y_t+1…Y_t+n-1，Y_t+n]

其中，Y代表对数幅度谱特征进行帧扩展值，t-n，t-n+1，…，t+n代表时间帧(t，n＝1，2，…，N，且t≠n，)，Y∈R^(2n+1)×d，R代表特征图集合，2n+1代表输入网络的时间帧数，取值为15，d代表对应的特征维度，取值129；

对经过帧扩展的特征向量按照均值为0，方差为1进行归一化处理，表示如下：

其中，Y′代表帧扩展的特征向量，Y代表对数幅度谱特征进行帧扩展值，μ代表输入数据Y的均值，σ代表输入数据Y的方差。