[发明专利]基于自注意力变换网络的多特征融合回声消除方法及系统

说明书

本发明公开了一种基于自注意力变换网络的多特征融合回声消除方法及系统，使用独立的卷积编码器对近端信号和远端信号分别提取潜在特征；将编码后的双端信号经过多头注意力计算注意力权重矩阵，与双端信号的潜在特征进行拼接，并使用一个深度可分离卷积网络对拼接信号进行融合；融合信号通过维度转换操作后生成块内特征，经过一个深度动态自注意力变换网络，再利用残差连接与注意力权重矩阵相加，转换为块间特征后再次经过深度动态自注意力变换网络；重复块内及块间操作，计算出掩码值；将掩蔽后的编码信号进行解码，得到消除回声后的近端信号。本发明能够在多种场景下消除回声，能够在保持近端语音完整性的情况下极大地提升回声消除的效果。

技术领域

本发明属于音频技术领域，涉及一种回声消除方法及系统，特别是涉及一种基于深度自注意力变换网络的多特征融合回声消除方法及系统。

背景技术

在全双工语音通信系统中，当本地扬声器外放接收到的远端信号时，本地麦克风会同时采集到扬声器播放的远端信号和近端说话人的声音，形成近端混合信号，并将这种混合信号发送到远端，使得远端说话人听到自己刚刚说的话音。这种经过传输-播放-再次采集并传输回来的声音信号叫做回声。回声的存在会严重降低通信质量。声学回声消除的目标就是最大程度地去除近端混合信号中包含的远端信号形成的回声信号，同时保留近端说话人的语音信息。

传统的声学回声消除算法通常以接收到的远端信号作为参考信号，使用一个有限脉冲滤波器来自适应地估计回声信号，然后将其从麦克风采集的混合信号中减去。然而，传统方法在非线性回声以及带噪声的复杂环境下很难准确地估计回声信号。

近些年，基于深度神经网络的方法在回声消除领域得到应用。相较于传统回声消除算法，基于深度神经网络的方法能够更好地拟合非线性回声并消除背景噪声，在低信噪比的情况下更加具有竞争力。深度网络对于非线性特征的拟合非常优秀，但随着网络深度的增加，会导致网络的退化以及部分不可逆的信息损失，尤其是在一些复杂的深度网络结构中。

发明内容

为了解决上述技术问题，本发明提供了一种基于深度自注意力变换网络的多特征融合回声消除方法及系统。

本发明的方法采用的技术方案是：一种基于自注意力变换网络的多特征融合回声消除方法，包括以下步骤：

步骤1：计算近端混合信号和远端参考信号间的时延，将双端信号进行对齐；

步骤2：将近端混合信号和远端参考信号分别提取潜在特征，并计算近端混合信号潜在特征和远端参考信号潜在特征的注意力权重矩阵，将混合信号特征、注意力权重矩阵以及参考信号特征进行拼接，然后生成融合特征；

步骤3：将步骤2中提取的融合特征分割为指定大小的块，将融合特征分为块内特征以及块间特征两种路径形式；

步骤4：将步骤3中的块内特征送入深度动态自注意力变换网络，然后将网络的输出利用残差连接与步骤2中计算出的注意力权重矩阵进行相加后，转换为块间特征，再次送入深度动态自注意力变换网络；重复上述的块内及块间的操作过程，计算出掩码值；

步骤5：利用步骤4中计算的掩码值与近端混合信号的潜在特征进行掩蔽，得到消除回声的信号特征；

步骤6：将步骤5中掩蔽后的信号特征进行解码并重建信号，得到经过回声消除后的近端信号。

本发明的系统采用的技术方案是：一种深度自注意力变换网络的多特征融合回声消除系统，包括以下模块：

模块1，用于计算近端混合信号和远端参考信号间的时延，将双端信号进行对齐；

模块2，用于将近端混合信号和远端参考信号分别提取潜在特征，并计算近端混合信号潜在特征和远端参考信号潜在特征的注意力权重矩阵，将混合信号特征、注意力权重矩阵以及参考信号特征进行拼接，然后生成融合特征；