[发明专利]一种单通道语音分离方法、装置及电子设备有效
申请号: | 202010388103.5 | 申请日: | 2020-05-09 |
公开(公告)号: | CN111429938B | 公开(公告)日: | 2022-09-13 |
发明(设计)人: | 毛启容;陈静静;钱双庆;高利剑 | 申请(专利权)人: | 江苏大学 |
主分类号: | G10L21/0272 | 分类号: | G10L21/0272;G10L25/30 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 212013 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 通道 语音 分离 方法 装置 电子设备 | ||
1.一种单通道语音分离方法,其特征在于,包括以下步骤:编码器接收多人说话的混合语音信号,并提取混合语音信号特征;分割提取的混合语音信号特征,并将其重新拼接成3-D张量;利用融合了自注意力机制的双路循环神经网络对拼接的3-D张量进行建模,学习语音信号之间的长时间依赖关系;将建模后的3-D张量进行交替叠加还原为序列语音信号特征;使用编码器将序列语音信号特征重构为纯净语音信号,得到分离的语音信号;其中,所述自注意力机制包括点乘注意力模块、多头注意力模块、残差归一化模块和循环神经网络模块;且所述循环神经网络模块采用双向循环神经网络;
其中,所述利用融合了自注意力机制的双路循环神经网络,是指将采用双向循环网络的自制力机制融合到双路网络中;
所述双路网络包括块内模块和块际模块;
所述双路网络的计算方式为:
IntraD=LN([MultiHead(D[:,:,s],D[:,:,s],D[:,:,s]),s=1,...,H])
Intrablock(D)=[BiLSTM(IntraD[:,:,s]),s=1,...,H]
其中,IntraD指块内模块中经多头注意力模块、残差归一化模块处理后的输出,指块际模块中经多头注意力模块、残差归一化模块处理后的输出,Intrablock(D)、分别为块内模块、块际模块的输出,BiLSTM为双向长短期记忆单元,MultiHead为多头注意力模块,D为张量,P为单位对长度,H为语音信号特征的块数。
2.一种单通道语音分离装置,其特征在于,包括依次连接的语音采集模块、语音分离模块和语音播放模块;
所述语音采集模块采集单通道混合语音信号;
所述语音分离模块基于自注意力机制和双路网络对混合语音信号进行分离,得到分离的语音信号;所述基于自注意力机制和双路网络对混合语音信号进行分离,具体为:分割提取的语音信号特征,并将其重新拼接成3-D张量;利用融合了自注意力机制的双路循环神经网络对拼接的3-D张量进行建模,学习语音信号之间的长时间依赖关系;将建模后的3-D张量进行交替叠加还原为序列语音信号特征,将序列语音信号特征重构为纯净语音信号,得到分离的语音信号;
所述语音播放模块播放从语音分离模块得到的语音信号。
3.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行,使所述处理器执行如权利要求1所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏大学,未经江苏大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010388103.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种新型玻片清洗装置
- 下一篇:节能型淤泥干化系统