[发明专利]一种基于知识蒸馏的多语言模型压缩方法、装置有效
| 申请号： | 201911272179.5 | 申请日： | 2019-12-11 |
| 公开（公告）号： | CN111062489B | 公开（公告）日： | 2023-10-20 |
| 发明（设计）人： | 杨焱麒 | 申请（专利权）人： | 北京知道创宇信息技术股份有限公司 |
| 主分类号： | G06N20/00 | 分类号： | G06N20/00 |
| 代理公司： | 北京超凡宏宇知识产权代理有限公司 11463 | 代理人： | 刘文强 |
| 地址： | 100000 北京市朝阳区阜*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请提供一种基于知识蒸馏的多语言模型压缩方法、装置，电子设备及存储介质，属于机器学习技术领域。该方法包括：将训练好的N个不同语言的语言模型作为教师模型；通过知识蒸馏算法，利用所述教师模型对学生模型进行训练；其中，所述学生模型的词表中包含所有所述教师模型中的词表。在本申请实施例中，将训练好的N个不同语言的语言模型作为教师模型，通过知识蒸馏算法，利用教师模型对学生模型进行训练，使得最终训练获得的学生模型与现有技术中的多语言模型相比，模型参数少，简化了模型的结构，且在模型参数较少的情况下，还能保证模型的性能、效果。 | ||
| 搜索关键词： | 一种 基于 知识 蒸馏 语言 模型 压缩 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京知道创宇信息技术股份有限公司，未经北京知道创宇信息技术股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201911272179.5/，转载请声明来源钻瓜专利网。
- 上一篇：一种用于注塑塑料筒的毛刺去除装置
- 下一篇：一种高效并行GCM实现方法
