[发明专利]多模态的知识蒸馏方法及系统在审
| 申请号： | 202110624603.9 | 申请日： | 2021-06-04 |
| 公开（公告）号： | CN113361396A | 公开（公告）日： | 2021-09-07 |
| 发明（设计）人： | 钱彦旻;张乐莹;陈正阳 | 申请（专利权）人： | 思必驰科技股份有限公司 |
| 主分类号： | G06K9/00 | 分类号： | G06K9/00;G06K9/62;G06N3/04;G06N3/08;G10L17/18 |
| 代理公司： | 北京商专永信知识产权代理事务所(普通合伙) 11400 | 代理人： | 黄谦;车江华 |
| 地址： | 215123 江苏省苏州市苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例提供一种多模态的知识蒸馏方法。该方法包括：搭建单模态声纹识别系统和单模态人脸识别系统，得到单模态声纹嵌入以及得到单模态人脸嵌入；将同一组声音‑人脸数据得到的单模态声音嵌入和单模态人脸嵌入组合输入至作为教师模型的多模态融合系统中，得到多模态说话人嵌入；利用教师模型对作为学生模型的单模态系统进行知识蒸馏，其中，知识蒸馏的方式包括：标签层面的知识蒸馏、深度说话人嵌入层面的知识蒸馏和分布层面的知识蒸馏。本发明实施例还提供一种多模态的知识蒸馏系统。本发明实施例将知识从多模态系统提炼至单模态系统，将教师模型的优势迁移至单模态学生模型中，从而利用知识迁移后的学生模型可以获得更好的识别效果。 | ||
| 搜索关键词： | 多模态 知识 蒸馏 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于思必驰科技股份有限公司，未经思必驰科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110624603.9/，转载请声明来源钻瓜专利网。
