[发明专利]面向物联网应用的单深度神经网络模型鲁棒性提升方法

说明书

本发明公开了一种面向物联网应用的单深度神经网络模型鲁棒性提升方法，模型鲁棒性是一个用于分析模型对于微小扰动的抵抗能力的评判标准，在相同扰动下模型的判断准确率越高，鲁棒性越好。主要由基于特征融合的模型结构改造和整体多样性计算组成。模型结构改造方法为在基本模型上添加额外分支，同时在分支间使用特征融合实现特征金字塔结构，各分支预测均化处理，同时保留其各自的出口。整体多样性计算由组合交叉熵，信息熵和非极大预测向量方向分离组成。本发明能使模型提高鲁棒性，以提高对对抗样本的分类能力，安全可靠的完成分类任务。

技术领域

本发明属于计算机领域，涉及了一种模型改进及训练方法。尤其涉及提高当前高精度但难以正确分类对抗样本的单身网络模型鲁棒性提升方法，其中使用了特征融合和整体多样性两种方式，在没有增加终端负担的前提下，解决了现今物联网需要安全可靠的人工智能的问题。

背景技术

近年来，物联网设备数量在不断飙升，这一数据呈现出不断攀升的趋势，预计会在2020年达到100亿以及2025年达到220亿。大量的物联网设备会产生海量的数据，图像是其中一种重要的数据形式，使用深度神经网络处理图像数据已是大势所趋。深度神经网络经过近几十年的发展，在很多任务上都有了长足的进步，在图像分类领域的表现尤为突出，但这些高性能分类器在面对对抗样本攻击时却暴露了其脆弱性：对抗样本只在原始图片上加了微小量的扰动，并不会干扰人的判断，但能成功愚弄深度神经网络分类器，使其做出错误的分类判断。所以说，如何提高模型对对抗样本攻击的防御能力就成为了一个非常重要的课题。

提高模型的鲁棒性是目前应对对抗样本攻击的一个重要方法，模型鲁棒性是一个用于分析模型对于微小扰动的抵抗能力的评判标准，在相同扰动下模型的判断准确率越高，鲁棒性越好。根据使用的模型数量的不同，可以将现有工作分为两类：基于单模型的鲁棒性提升方法和基于组合模型的鲁棒性提升方法。对抗样本防御方法一般着眼于提升网络本身的鲁棒性以使其能够正确分类对抗样本，适用于物联网应用场景。基于组合模型的鲁棒性提升方法则是综合评估多个模型的预测结果得到最终输出，通常情况下相比于基于单模型的防御方式而言会有更好的防御表现，特别是《Improving Adversarial Robustnessvia Promoting Ensemble Diversity》中提出的组合模型的整体多样性提升鲁棒性方法给了很好的研究思路，分离组合成员的非极大预测的分布，提升组合内各个成员之间的多样性，降低成员间的相似程度，从而使得对抗样本难以在各个成员之间迁移，更进一步地提高了组合模型的整体鲁棒性。考虑到物联网设备有限的资源配置、计算能力以及实时性要求等，基于组合模型的防御方式很难落实到物联网应用中，需要去研究单神经网络模型的鲁棒性提升。

发明内容

本发明的目的是针对上述问题，提供了一种面向物联网应用的单深度神经网络模型鲁棒性提升方法，该方法包含两个部分，一是基于特征融合的模型结构改造，二是引入整体多样性计算作训练惩罚项。其改进并训练的单神经网络模型，鲁棒性得到了提升，对对抗样本的分类准确率大幅提高，是可行且有效的。

实现本发明目的的具体技术方案是：

一种面向物联网应用的单深度神经网络模型鲁棒性提升方法，该方法包括以下具体步骤：

步骤1：模型结构改造：

a1：以单神经网络结构为基础，在浅层添加分支，形成多分支神经网络模型结构；

a2：在网络的各分支间实现特征融合，深层特征不断递归融合到浅层中，形成特征金字塔结构；

a3：网络中所有分支预测做均化计算得最终输出，形成最终的多分支单神经网络模型结构；

步骤2：对多分支单神经网络模型进行训练：最终输出作交叉熵计算，分支的预测作整体多样性计算，计算出的值作为惩罚项，完成模型参数优化，具体步骤如下：

1)当训练轮数达设定好的界限时，将学习率降为上一阶段的十分之一；