[发明专利]回声消除方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种回声消除方法，包括：

接收近端混合信号和对应的参考通道的远端信号；

对所述近端混合信号和所述远端信号分别进行编码，得到编码后的近端混合信号语谱图和编码后的远端信号语谱图，并将编码后的近端混合信号语谱图和编码后的远端信号语谱图进行拼接，得到拼接的后语谱图；

根据所述拼接的后语谱图提取多尺度特征；

根据所述编码后的近端混合信号语谱图提取深度特征；根据所述编码后的近端混合信号语谱图提取深度特征包括：将所述编码后的近端混合信号语谱图输入至消除器模块中的第一长短期记忆网络，由所述第一长短期记忆网络根据所述编码后的近端混合信号语谱图提取所述深度特征；

根据所述深度特征计算所述多尺度特征的每一层特征的权重；根据所述深度特征计算所述多尺度特征的每一层特征的权重包括：将所述深度特征作为query，将所述多尺度特征的每一层特征作为key和value，利用多头注意力机制计算多尺度特征每一层特征的权重；

利用所述每一层特征的权重对对应的特征进行加权处理，得到合并后的多尺度特征；利用所述每一层特征的权重对对应的特征进行加权处理，得到合并后的多尺度特征包括：通过所述多头注意力机制将每一层特征的权重与对应的特征相乘并叠加，得到所述合并后的多尺度特征；

根据所述合并后的多尺度特征和所述深度特征获取近端信号估计；根据所述合并后的多尺度特征和所述深度特征获取近端信号估计包括：将所述合并后的多尺度特征和所述深度特征进行拼接后，输入至消除器模块中的第二长短期记忆网络，得到所述近端信号估计；

将所述近端信号估计输入至掩码估计模块，得到近端混合信号中纯粹近端信号每个时频点的mask值；

将所述每个时频点的mask值与所述编码后的近端混合信号语谱图相乘得到近端信号语谱图；

将所述近端信号语谱图输入至一维卷积的解码器得到近端信号的时域波形。

2.如权利要求1所述的回声消除方法，其中，根据所述拼接的后语谱图提取多尺度特征包括：

将所述拼接的后语谱图输入至消除器模块中的多尺度特征提取模块；其中，所述多尺度特征提取模块由多组膨胀卷积构成，每一组膨胀卷积包括多个卷积块；由所述多尺度特征提取模块根据所述拼接的后语谱图提取每一层的多尺度特征。

3.如权利要求1中所述的回声消除方法，其中，根据所述合并后的多尺度特征和所述深度特征获取近端信号估计包括：

将所述合并后的多尺度特征和所述深度特征进行拼接后，输入至消除器模块中的第二长短期记忆网络，得到所述近端信号估计。

4.如权利要求1所述的回声消除方法，其中，所述方法还包括：

将所述合并后的多尺度特征和所述近端信号估计进行拼接之后输入至分类器；由所述分类器判断是否有远端信号或者近端信号。

5.如权利要求3或者4所述的回声消除方法，其中，消除器模块是通过如下步骤训练得到的：

从数据库中选择不同人的语音分别作为近端信号样本和远端信号样本；

将所述远端信号样本依次经过非线性处理模块和房间冲激响应处理后得到回声信号样本；

将所述近端信号样本和所述回声信号样本叠加得到近端混合信号样本；

将所述近端混合信号样本和所述远端信号样本作为消除器模块的输入，将所述近端信号样本作为消除器模块的最小均方误差损失函数的学习目标，对消除器模块进行训练。

6.如权利要求5所述的回声消除方法，其中，所述消除器模块是通过如下步骤训练得到的：

计算所述回声信号样本的能量和所述近端信号样本的能量；

分别将所述回声信号样本的能量和所述近端信号样本的能量与预定阈值进行比较，得到第一数值和第二数值，作为双端检测结果标签；

将所述近端混合信号样本和所述远端信号样本作为消除器模块的输入，将所述双端检测结果标签作为消除器模块的交叉熵损失函数的学习目标。