[发明专利]一种模型参数调整方法、装置、电子设备和存储介质在审
申请号: | 202010544321.3 | 申请日: | 2020-06-15 |
公开(公告)号: | CN111753955A | 公开(公告)日: | 2020-10-09 |
发明(设计)人: | 吴月升;刘焱;王洋;郝新;熊俊峰 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 模型 参数 调整 方法 装置 电子设备 存储 介质 | ||
本申请公开了一种模型参数调整方法、装置、电子设备和存储介质,涉及人工智能技术领域。具体实现方案为:获取使用当前样本数据对深度神经网络模型进行训练时,所述深度神经网络模型中包含的设定网络层的各输入特征参数;对各所述输入特征参数进行排序,根据排序结果选取数值最小的至少一个输入特征参数;将选取的各输入特征参数的数值调小。本申请实施例中,由于选出的取值较小的特征参数对模型最终输出结果影响不大,但可能会被对抗攻击者利用,因此将选出的部分输入特征参数的数值调到更小,使得即使被对抗攻击者利用,也不会严重影响模型的精度,进而保证了模型的鲁棒性。
技术领域
本申请实施例涉及计算机技术,尤其涉及人工智能技术领域,特别涉及一种模型参数调整方法、装置、电子设备及存储介质。
背景技术
模型鲁棒性是评价一个深度神经网络模型的重要指标。鉴于训练数据的非完备性和均匀分布的不可证明性,加之深度神经网络所固有的对抗样本等的存在,目前,没有方法可以保证深度神经网络模型输出结果的完全正确。该领域的主要工作是如何在较小的代价(比如有限的训练数据集,有限的计算资源和可接受的训练时间)下,尽可能保证输出的深度神经网络模型在测试集和验证集具备较高的准确性,并且在实际环境中具有较高的鲁棒性,可以适应各类环境变化或者人为因素导致的扰动和偏差,保证模型的可信。
发明内容
本申请实施例提供了一种模型参数调整方法、装置、电子设备及存储介质,以提升深度神经网络模型的鲁棒性。
根据第一方面,提供了一种模型参数调整方法,包括:
获取使用当前样本数据对深度神经网络模型进行训练时,所述深度神经网络模型中包含的设定网络层的各输入特征参数;
对各所述输入特征参数进行排序,根据排序结果选取数值最小的至少一个输入特征参数;
将选取的各输入特征参数的数值调小。
根据第二方面,提供了一种模型参数调整装置,包括:
特征参数获取模块,用于获取使用当前样本数据对深度神经网络模型进行训练时,所述深度神经网络模型中包含的设定网络层的各输入特征参数;
排序筛选模块,用于对各所述输入特征参数进行排序,根据排序结果选取数值最小的至少一个输入特征参数;
调整模块,用于将选取的各输入特征参数的数值调小。
根据第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请任意实施例所述的模型参数调整方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本申请任意实施例所述的模型参数调整方法。
根据本申请的技术,在保证模型精度的同时,提高了深度神经网络模型的鲁棒性。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1a是根据本申请第一实施例的模型参数调整方法的流程示意图;
图1b是根据本申请第一实施例的设定层为全连接层时的各个输入特征参数的示意图;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010544321.3/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种移动式河湖清淤污泥处理系统
- 下一篇:一种用于素材检查的紫外线检测方法