[发明专利]神经网络模型的蒸馏方法和装置有效
| 申请号： | 202010387563.6 | 申请日： | 2020-05-09 |
| 公开（公告）号： | CN111582479B | 公开（公告）日： | 2023-10-27 |
| 发明（设计）人： | 希滕;张刚;温圣召 | 申请（专利权）人： | 北京百度网讯科技有限公司 |
| 主分类号： | G06N3/082 | 分类号： | G06N3/082;G06N3/0464 |
| 代理公司： | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人： | 王达佐;马晓亚 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请涉及人工智能领域，公开了神经网络模型的蒸馏方法和装置。该方法包括：构建蒸馏策略的搜索空间；通过执行多次迭代操作对第二神经网络模型进行蒸馏训练，迭代操作包括：采用预设的控制器从蒸馏策略的搜索空间中搜索出候选蒸馏策略，基于候选蒸馏策略，将预设的至少一个第一神经网络模型作为教师网络对第二神经网络模型进行蒸馏训练；获取基于候选蒸馏策略蒸馏后的第二神经网络模型的性能，并根据蒸馏后的第二神经网络模型的性能生成反馈信息；根据反馈信息更新控制器；响应于根据反馈信息确定当前的迭代操作未达到预设的收敛条件，基于更新后的控制器执行下一次迭代操作。该方法实现了最优蒸馏策略的自动搜索。 | ||
| 搜索关键词： | 神经网络 模型 蒸馏 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司，未经北京百度网讯科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010387563.6/，转载请声明来源钻瓜专利网。
