[发明专利]用于使用知识蒸馏训练神经网络模型的方法和系统在审
| 申请号： | 202180054067.1 | 申请日： | 2021-09-09 |
| 公开（公告）号： | CN116134454A | 公开（公告）日： | 2023-05-16 |
| 发明（设计）人： | 佩曼·帕斯班;吴伊萌;梅赫迪·雷扎霍利扎德 | 申请（专利权）人： | 华为技术有限公司 |
| 主分类号： | G06N3/096 | 分类号： | G06N3/096;G06N3/0455;G06N3/084 |
| 代理公司： | 北京同立钧成知识产权代理有限公司 11205 | 代理人： | 蔡维华;刘芳 |
| 地址： | 518129 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 描述了用于将神经模型的训练知识从复杂模型(教师)转移到较不复杂模型(学生)的无关组合知识蒸馏(CKD)方法。除了训练学生以生成近似于教师最终输出和训练输入的真值两者的最终输出外，该方法还通过训练学生的隐藏层来最大化知识转移，以生成输出，该输出近似于映射到针对给定训练输入的学生隐藏层中的每一层的教师隐藏层的子集的表征。 | ||
| 搜索关键词： | 用于 使用 知识 蒸馏 训练 神经网络 模型 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华为技术有限公司，未经华为技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202180054067.1/，转载请声明来源钻瓜专利网。
- 上一篇：脂肪酸视黄酯形成的减少
- 下一篇：靶向人和小鼠INSL5的化合物和方法
