[发明专利]一种基于伪孪生网络的网络剪枝方法有效
| 申请号： | 201910400920.5 | 申请日： | 2019-05-15 |
| 公开（公告）号： | CN110097177B | 公开（公告）日： | 2022-11-29 |
| 发明（设计）人： | 闵锐;蓝海 | 申请（专利权）人： | 电科瑞达（成都）科技有限公司 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 成都点睛专利代理事务所(普通合伙) 51232 | 代理人： | 孙一峰 |
| 地址： | 610041 四川省*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 孪生 网络 剪枝 方法 | ||
【权利要求书】：
1.一种基于伪孪生网络的网络剪枝方法，其特征在于，包括以下步骤：
S1、根据被剪枝的目标网络，构建一个伪孪生网络，所述伪孪生网络的网络权重为三值；
S2、读取训练样本，采用随机梯度下降法对目标网络进行训练，设目标网络的输出为T(i)，目标网络的代价函数是：
其中，n是类别数目，L(i)是目标的真实分布；
采用目标网络的输出T(i)对目标网络的权重进行更新；
采用相同的训练样本对伪孪生网络进行训练，设伪孪生网络的输出为S(i)，伪孪生网络的代价函数是：
采用Ls更新伪孪生网络中的三元权重；
训练过程在Lt和Ls都收敛的时候结束，并保存目标网络和伪孪生网络的权重；
S3、以伪孪生网络为模板，对目标网络进行裁剪：
将目标网络的卷积核的绝对值和伪孪生网络中的卷积核相乘得到一个新的卷积核，裁剪这个卷积核中权值为0的部分，并用这个裁剪后的新的卷积核替代目标网络中的卷积核。
2.根据权利要求1所述的一种基于伪孪生网络的网络剪枝方法，其特征在于，还包括：
S4、保留目标网络遗留下的参数，用随机梯度下降法调整伪孪生网络的参数。
3.根据权利要求1所述的一种基于伪孪生网络的网络剪枝方法，其特征在于，还包括：
S4、保留伪孪生网络遗留下的参数，用随机梯度下降法调整目标网络的参数。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于电科瑞达（成都）科技有限公司，未经电科瑞达（成都）科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910400920.5/1.html，转载请声明来源钻瓜专利网。
