[发明专利]基于生成对抗神经网络的深度网络模型压缩训练方法在审
| 申请号： | 202010408396.9 | 申请日： | 2020-05-14 |
| 公开（公告）号： | CN111626404A | 公开（公告）日： | 2020-09-04 |
| 发明（设计）人： | 姜宏旭;黄双喜;李波;李晓宾;田方正 | 申请（专利权）人： | 北京航空航天大学 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/063;G06N3/08 |
| 代理公司： | 北京慕达星云知识产权代理事务所(特殊普通合伙) 11465 | 代理人： | 曹鹏飞 |
| 地址： | 100191*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 基于 生成 对抗 神经网络 深度 网络 模型 压缩 训练 方法 | ||
【权利要求书】：
1.一种基于生成对抗神经网络的深度网络模型压缩训练方法，其特征在于，包括：
预先从训练的数据集中随机选择一张图片作为原网络和初始被压缩网络的输入；其中，将初始被压缩网络的特征提取器作为G网络；
计算经过原网络特征提取器和初始被压缩网络特征提取器分别提取出的特征图特征分度的JS散度，作为结构性损失函数；
基于结构性损失函数和初始被压缩网络的自身损失函数构建综合性损失函数；
将经过原网络特征提取器和初始被压缩网络特征提取器提取的特征图分别输入D网络，并根据D网络的判断结果对D网络更新或者基于综合性损失函数对初始被压缩网络进行更新，使得G网络输出的特征图得分提高，从而形成D网络和G网络的博弈，直至被压缩网络收敛。
2.根据权利要求1所述的基于生成对抗神经网络的深度网络模型压缩训练方法，其特征在于，在综合性损失函数中引入尺度因子，以调控结构性损失函数在训练过程中的参与程度，具体为：
Ltotal＝(1-β)*LS+β*LJ，
其中Ltotal为综合性损失函数，LJ为结构性损失函数，LS为网络的自身损失函数，β为尺度因子，β∈[0,1]。
3.根据权利要求1所述的基于生成对抗神经网络的深度网络模型压缩训练方法，其特征在于，通过计算初始被压缩网络的输出与观测结果间概率分布的交叉熵，作为初始被压缩网络的自身损失函数。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京航空航天大学，未经北京航空航天大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202010408396.9/1.html，转载请声明来源钻瓜专利网。
