[发明专利]防御性蒸馏模型的构建方法与装置在审
| 申请号： | 201910109707.9 | 申请日： | 2019-02-02 |
| 公开（公告）号： | CN109902727A | 公开（公告）日： | 2019-06-18 |
| 发明（设计）人： | 张跃进;喻蒙;胡勇;王猛;杜飞 | 申请（专利权）人： | 钟祥博谦信息科技有限公司 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 北京细软智谷知识产权代理有限责任公司 11471 | 代理人： | 付登云 |
| 地址： | 431900 湖北省荆门市钟祥*** | 国省代码： | 湖北;42 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种防御性蒸馏模型的构建方法与装置，所述方法包括：获取训练集中的原始训练数据和原始训练数据的真实标签；根据原始训练数据和真实标签，对深度神经网络进行知识蒸馏，将深度神经网络的知识迁移到决策树模型，生成软决策树模型；通过原始训练数据，对软决策树模型进行对抗训练，生成防御性蒸馏模型。采用本申请的技术方案，决策树模型具有很好的解释性，还突破了防御性蒸馏技术对框架要求的限制，能够使防御性蒸馏技术可以在不同的模型结构间运用，扩大了防御性蒸馏的应用范围，并且本方案对软决策树模型进行了对抗训练，不仅防止了软决策树模型过拟合的问题，还能够提高模型针对对抗样本的鲁棒性。 | ||
| 搜索关键词： | 防御性 蒸馏 原始训练数据 软决策 树模型 决策树模型 对抗训练 神经网络 真实标签 蒸馏技术 构建 模型结构 知识迁移 解释性 鲁棒性 拟合 样本 对抗 申请 应用 | ||
【主权项】：
1.一种防御性蒸馏模型的构建方法，其特征在于，包括：获取训练集中的原始训练数据和所述原始训练数据的真实标签；根据所述原始训练数据和所述真实标签，对深度神经网络进行知识蒸馏，将所述深度神经网络的知识迁移到决策树模型，生成软决策树模型；通过所述原始训练数据，对所述软决策树模型进行对抗训练，生成防御性蒸馏模型。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于钟祥博谦信息科技有限公司，未经钟祥博谦信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910109707.9/，转载请声明来源钻瓜专利网。
- 上一篇：简历信息处理方法及装置
- 下一篇：一种基于平均互信息的快速社区发现方法及系统
