[发明专利]一种提高深度学习模型鲁棒性的方法及装置在审
申请号: | 201710591926.6 | 申请日: | 2017-07-19 |
公开(公告)号: | CN107463951A | 公开(公告)日: | 2017-12-12 |
发明(设计)人: | 朱军;庞天宇;杜超 | 申请(专利权)人: | 清华大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/02 |
代理公司: | 北京路浩知识产权代理有限公司11002 | 代理人: | 王莹,曹杰 |
地址: | 100084 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 提高 深度 学习 模型 鲁棒性 方法 装置 | ||
1.一种提高深度学习模型鲁棒性的方法,其特征在于,包括:
利用预设的反交叉熵训练方法训练深度神经网络,获得训练好的深度神经网络分类器;
将目标图像输入所述深度神经网络分类器,利用预设的联合分数阈值输出方法,计算所述目标图像的预测类别并判断是否输出所述预测类别。
2.根据权利要求1所述的方法,其特征在于,所述利用预设的反交叉熵训练方法训练深度神经网络,获得训练好的深度神经网络分类器,包括:
将样本训练集合输入到深度神经网络中,将反交叉熵作为网络参数的目标函数,通过最小化平均反交叉熵对所述深度神经网络进行训练;
将训练后的深度神经网络中softmax输出层的输入取反,将取反后所述softmax输出层的输出作为训练好的深度神经网络分类器。
3.根据权利要求1所述的方法,其特征在于,所述将目标图像输入所述深度神经网络分类器,利用预设的联合分数阈值输出方法,计算所述目标图像的预测类别并判断是否输出所述预测类别,包括:
将目标图像输入所述深度神经网络分类器,并计算所述深度神经网络分类器在所述目标图像上的预测类别和所述预测类别的联合分数;
判断所述联合分数是否大于预设阈值;
若所述联合分数大于预设阈值,则确定所述目标图像为正常样本并输出返回所述预测类别。
4.根据权利要求3所述的方法,其特征在于,所述将目标图像输入所述深度神经网络分类器,并计算所述深度神经网络分类器在所述目标图像上的预测类别和所述预测类别的联合分数,包括:
将目标图像输入所述深度神经网络分类器,获取所述深度神经网络分类器在所述目标图像上的非最大元素熵、预测类别和所述预测类别的置信度;
根据所述非最大元素熵,获取所述深度神经网络分类器在所述目标图像上的高斯核非最大元素熵;
根据所述高斯核非最大元素熵和该预测类别的置信度,获取所述预测类别的联合分数。
5.根据权利要求4所述的方法,其特征在于,在判断所述联合分数是否大于预设阈值之后,所述方法还包括:
若所述联合分数小于等于预设阈值,则确定所述目标图像为对抗样本并拒绝返回所述预测类别。
6.一种提高深度学习模型鲁棒性的装置,其特征在于,包括:
训练模块,用于利用预设的反交叉熵训练方法训练深度神经网络,获得训练好的深度神经网络分类器;
判断模块,用于将目标图像输入所述深度神经网络分类器,利用预设的联合分数阈值输出方法,计算所述目标图像的预测类别并判断是否输出所述预测类别。
7.根据权利要求6所述的装置,其特征在于,所述训练模块,具体用于
将样本训练集合输入到深度神经网络中,将反交叉熵作为网络参数的目标函数,通过最小化平均反交叉熵对所述深度神经网络进行训练;
将训练后的深度神经网络中softmax输出层的输入取反,将取反后所述softmax输出层的输出作为训练好的深度神经网络分类器。
8.根据权利要求6所述的装置,其特征在于,所述判断模块,包括:
计算单元,用于将目标图像输入所述深度神经网络分类器,并计算所述深度神经网络分类器在所述目标图像上的预测类别和所述预测类别的联合分数;
判断单元,用于判断所述联合分数是否大于预设阈值;
输出单元,用于若所述联合分数大于预设阈值,则确定所述目标图像为正常样本并输出返回所述预测类别。
9.一种电子设备,其特征在于,包括:处理器、存储器、总线及存储在存储器上并可在处理器上运行的计算机程序;
其中,所述处理器,存储器通过所述总线完成相互间的通信;
所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,该计算机程序被处理器执行时实现如权利要求1-5中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710591926.6/1.html,转载请声明来源钻瓜专利网。