[发明专利]一种多模态语音分离方法及系统有效
| 申请号： | 202110271703.8 | 申请日： | 2021-03-12 |
| 公开（公告）号： | CN113035227B | 公开（公告）日： | 2022-02-11 |
| 发明（设计）人： | 魏莹;刘洋 | 申请（专利权）人： | 山东大学 |
| 主分类号： | G10L21/0272 | 分类号： | G10L21/0272;G10L21/0208;G10L25/30;G06V40/16;G06V40/20;G06V10/46;G06V10/80;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 李圣梅 |
| 地址： | 250061 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开提出了一种多模态语音分离方法及系统，包括：接收待识别对象的混合声音及待识别对象的面部视觉信息；使用Dlib库进行人脸检测获得说话人数量；将上述信息进行处理获得复语谱图以及说话人的人脸图像并传输至多模态语音分离模型中，根据说话人的数量动态调整模型的结构，其中，所述多模态语音分离模型在训练过程中，使用复数域理想比值掩蔽作为训练目标，它在复数域中定义为干净声音语谱图与混合声音语谱图之间的比率，由实部与虚部组成并且包含了声音的幅值与相位信息；所述多模态语音分离模型输出对应人脸的数量的时频掩蔽；将输出的掩蔽与混合声音的语谱图进行复数相乘便得到干净声音的语谱图，对干净声音的语谱图作短时傅里叶逆变换计算得到干净声音的时域信号，从而完成语音分离。本公开模型更加适用于大多数应用场景。 | ||
| 搜索关键词： | 一种 多模态 语音 分离 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东大学，未经山东大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110271703.8/，转载请声明来源钻瓜专利网。
