[发明专利]确定网络模型剪枝策略的方法、装置、设备以及存储介质在审
申请号: | 202011147374.8 | 申请日: | 2020-10-23 |
公开(公告)号: | CN112149829A | 公开(公告)日: | 2020-12-29 |
发明(设计)人: | 希滕;张刚;温圣召 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 确定 网络 模型 剪枝 策略 方法 装置 设备 以及 存储 介质 | ||
1.一种用于确定网络模型的剪枝策略的方法,包括:
采用针对目标硬件的网络模型的BN阈值搜索空间的配置信息,生成BN阈值搜索空间;
采用所述BN阈值搜索空间,生成剪枝策略编码生成器;
采用所述剪枝策略编码生成器,随机生成BN阈值编码;
对所述BN阈值编码进行解码,得到待选BN阈值;
根据对应于所述待选BN阈值的网络模型的剪枝精度损失,确定用于目标硬件的网络模型的目标剪枝策略。
2.根据权利要求1所述的方法,所述根据对应于所述待选BN阈值的网络模型的剪枝精度损失,确定应用于目标硬件的目标剪枝策略包括:
响应于待选BN阈值的网络模型的剪枝精度损失小于预定阈值,将待选BN阈值确定为用于目标硬件的目标剪枝策略。
3.根据权利要求1或2所述的方法,所述根据对应于所述待选BN阈值的网络模型的剪枝精度损失,确定应用于目标硬件的目标剪枝策略包括:
响应于所述待选BN阈值的网络模型的剪枝精度损失大于预定阈值,采用所述剪枝策略编码生成器,生成新的一组BN阈值编码,并对所述新的一组BN阈值编码进行解码,得到新的待选BN阈值;
根据对应于所述新的待选BN阈值的剪枝精度损失,确定用于目标硬件的目标剪枝策略。
4.根据权利要求1所述的方法,所述待选BN阈值包括连续BN阈值和离散BN阈值。
5.根据权利要求1所述的方法,还包括:
获取训练样本集;
利用所述训练样本集对用于目标硬件的网络模型进行训练,得到初始模型;
利用所述目标剪枝策略对所述初始模型进行剪枝,得到目标模型。
6.根据权利要求1-5任一项所述的方法,所述BN阈值为经批量标准化后的数据的扩展系数。
7.一种确定网络模型剪枝策略的装置,其特征在于,所述装置包括:
BN阈值搜索空间生成模块,被配置为采用针对目标硬件的网络模型的BN阈值搜索空间的配置信息,生成BN阈值搜索空间;
编码模块,被配置为采用所述BN阈值搜索空间,生成剪枝策略编码生成器;
BN阈值编码生成模块,被配置为采用所述剪枝策略编码生成器,随机生成BN阈值编码;
解码模块,被配置为对所述BN阈值编码进行解码,得到待选BN阈值;
目标剪枝策略确定模块,被配置为根据对应于所述待选BN阈值的网络模型的剪枝精度损失,确定用于目标硬件的网络模型的目标剪枝策略。
8.根据权利要求7所述的装置,其中,所述目标剪枝策略确定模块进一步被配置成:
响应于待选BN阈值的网络模型的剪枝精度损失小于预定阈值,将待选BN阈值确定为用于目标硬件的目标剪枝策略。
9.根据权利要求7或8所述的装置,其中,所述目标剪枝策略确定模块进一步被配置成:
响应于所述待选BN阈值的网络模型的剪枝精度损失大于预定阈值,采用所述剪枝策略编码生成器,生成新的一组BN阈值编码,并对所述新的一组BN阈值编码进行解码,得到新的待选BN阈值;
根据对应于所述新的待选BN阈值的剪枝精度损失,确定用于目标硬件的目标剪枝策略。
10.根据权利要求7所述的装置,其中,所述待选BN阈值连续BN阈值和离散BN阈值。
11.根据权利要求7所述的装置,还包括:
训练样本获取模块,被配置为获取训练样本集;
初始模型训练模块,被配置为利用所述训练样本集对用于目标硬件的网络模型进行训练,得到初始模型;
初始模型量化模块,被配置为利用所述目标剪枝策略对所述初始模型进行剪枝,得到目标模型。
12.根据权利要求7-11任一项所述的装置,所述BN阈值为经批量标准化后的数据的扩展系数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011147374.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种5-氨基四氮唑的生产工艺
- 下一篇:一种餐饮行业服务监督方法和装置及系统