[发明专利]基于逆时针逐块知识蒸馏的神经网络模型压缩方法及系统在审
| 申请号： | 202310628289.0 | 申请日： | 2023-05-29 |
| 公开（公告）号： | CN116663621A | 公开（公告）日： | 2023-08-29 |
| 发明（设计）人： | 何为凯;曾亚琳;王伟;高建永;张肖;刘存根;杨富春 | 申请（专利权）人： | 山东开泰抛丸机械股份有限公司;山东开泰智能抛喷丸技术研究院有限公司 |
| 主分类号： | G06N3/0495 | 分类号： | G06N3/0495;G06N3/096 |
| 代理公司： | 济南圣达知识产权代理有限公司 37221 | 代理人： | 于凤洋 |
| 地址： | 256217*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开提供了基于逆时针逐块知识蒸馏的神经网络模型压缩方法及系统，涉及机器学习技术领域，包括获取构建并训练好的教师模型，并保存训练教师模型时所使用的损失函数；将所述教师模型由浅到深划分N个子网块，并以N‑1个子网块为基础分别构造N‑1个学生模型子网块；利用所述损失函数，将获得的N‑1个学生模型子网块按照自顶向下的顺序依次替换教师模型中最浅层子网块之外的N‑1个子网块获取到中间模型；利用损失函数将中间模型进行训练至收敛得到压缩后的目标学生模型。有利于减少学生模型对教师模型的依赖性并使得学生模型找到更适合自己的参数分布；使学生模型关注教师模型中更高级的信息从而缓解学生模型和教师模型之间的代沟问题。 | ||
| 搜索关键词： | 基于 逆时针 知识 蒸馏 神经网络 模型 压缩 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东开泰抛丸机械股份有限公司;山东开泰智能抛喷丸技术研究院有限公司，未经山东开泰抛丸机械股份有限公司;山东开泰智能抛喷丸技术研究院有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310628289.0/，转载请声明来源钻瓜专利网。
