[发明专利]用于评估神经网络的方法和装置在审
申请号: | 202010631978.3 | 申请日: | 2020-07-03 |
公开(公告)号: | CN111523651A | 公开(公告)日: | 2020-08-11 |
发明(设计)人: | 吕乐;周璟;陆毅成;宝鹏庆;赵闻飙;王维强 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 北京永新同创知识产权代理有限公司 11376 | 代理人: | 林锦辉;刘景峰 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 评估 神经网络 方法 装置 | ||
1.一种用于评估神经网络的方法,包括:
生成针对神经网络的原始样本的多个对抗样本,其中:
每个对抗样本是基于距离因素和类别差异因素来生成的,所述距离因素用于表示该对抗样本与所述原始样本之间的距离,所述类别差异因素用于表示所述神经网络对该对抗样本的预测类别与对抗样本目标类别之间的差异;
对于任何两个对抗样本而言,针对一个对抗样本的距离因素和类别差异因素中的至少一者的度量方式是不同于另一对抗样本的;
使用所述多个对抗样本对所述神经网络进行评估。
2.根据权利要求1所述的方法,其中,生成针对神经网络的原始样本的多个对抗样本,包括:
针对第一对抗样本而言,所述第一对抗样本是所述多个对抗样本中的任一者:
对第一目标函数进行优化,得到所述第一对抗样本,其中,所述第一目标函数是基于针对所述第一对抗样本的第一距离因素和第一类别差异因素来构造的,所述第一目标函数使得所述第一距离因素和所述第一类别差异因素均最小化。
3.根据权利要求2所述的方法,其中,对第一目标函数进行优化,包括:
采用以下优化算法中的一种算法对所述第一目标函数进行优化:投影梯度下降法、截断梯度下降法、或变量替换法。
4.根据权利要求2或3所述的方法,其中,所述第一距离因素是使用
5.根据权利要求4所述的方法,其中,所述第一距离因素是使用
对第一目标函数进行优化包括:重复执行以下过程,直到达到收敛,得到第一调整变量,其中所述第一对抗样本是利用所述第一调整变量对所述原始样本进行调整得到的:
对第二目标函数进行优化,得到所述第二目标函数的最优解,其中,所述第二目标函数是基于第二距离因素和第二类别差异因素来构造的,所述第二距离因素是使用
基于所述第二目标函数的最优解,确定与所述第二类别差异因素相关联的梯度;
基于所述梯度,确定对所述第二类别差异因素影响最小的样本特征分量;
在保持所述样本特征分量不变的情况下,再次对所述第二目标函数进行优化。
6.根据权利要求4所述的方法,其中,所述第一距离因素是使用范数测量方式来度量的;
对第一目标函数进行优化包括:
通过多次迭代,对所述第一目标函数进行优化,
其中,所述第一距离因素是通过第一调整变量和可调整参数来表示的,所述第一对抗样本是利用所述第一调整变量对所述原始样本进行调整得到的,并且在每次迭代之后,所述可调整参数基于该次迭代的结果而被调整。
7.根据权利要求2或3所述的方法,其中,所述第一类别差异因素是使用类别差异函数来度量的,所述类别差异函数是基于多分类损失函数得到的。
8.根据权利要求7所述的方法,其中,所述多分类损失函数包括交叉熵损失函数、合页损失函数、或softplus损失函数。
9.根据权利要求8所述的方法,其中,所述类别差异函数是通过以下方式中的一种方式得到的:
基于预测概率对所述交叉熵损失函数进行调整,其中,所述预测概率表示所述神经网络对所述对抗样本目标类别的预测概率;
基于所述预测概率对所述合页损失函数进行调整;
基于logits向量对所述合页损失函数进行调整;
基于所述预测概率对所述softplus损失函数进行调整;
基于logits向量对所述softplus损失函数进行调整。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010631978.3/1.html,转载请声明来源钻瓜专利网。