[发明专利]一种针对图像识别过程中的小像素对抗样本防御方法

说明书

本发明涉及机器学习领域，提供了一种针对图像识别过程中的小像素对抗样本防御方法，目的在于解决在小像素图像识别过程中，对添加扰动伪装后的图像识别错误的问题。主要方案包括，使原始样本集O进行模型的训练，得到一个未经过增强的分类模型，对训练数据集中的每一张图片，进行对抗样本生成，得到对抗样本集合A并进行扰动数值的统计，统计每个扰动数值所占的比重，计算出每一张对抗样本的扰动数值分布，得到对抗样本的扰动分布直方图；使用对抗样本的扰动分布直方图，模拟对抗样本生成算法扰动规律，对DUNet模型进行训练，得到降噪输入层；将降噪输入层和未经过增强的小像素图像分类模型进行拼接，得到增强的模型。

技术领域

一种针对小像素对抗样本的模型防御方法，用于对抗样本的防御，属于机器学习领域。

背景技术

近年来机器学习发展迅猛，随着机器学习技术的不断进步，机器学习在恶意邮件检测、恶意程序检测、图像识别、人脸识别、图像分类、无人驾驶等和人们日常生活息息相关的领域得到了非常广泛的应用。机器学习逐渐的渗入到人们的日常生活中，成为改善人们生活水平的关键技术。然而，机器学习在给人们的学习和生活带来极大帮助的同时，机器学习算法中还存在很多安全性问题。在早期使用机器学习进行网络入侵检测和恶意邮件检测的系统中，攻击者能够针对不同检测模型的检测特点，使用特定的规则来规避模型的检测，严重的影响了机器学习的安全性，阻碍了机器学习的应用。到目前为止还有更多有关机器学习安全性的问题未被发现。

在2014年，Christian Szegedy等人提出了对抗样本(Adversarial examples)的概念，机器学习模型极易被一些精心制造的人为扰动干扰，导致模型分类器在错误类别上的识别置信度超过正确类别，进而造成模型分类结果的错误。Szegedy的研究表明，包括卷积神经网络(Convolutional Neural Network，CNN)在内的多种深度学习模型都存在着对抗样本问题。GoodFellow的研究发现在训练数据集的不同子集中训练得到的模型都会对相同的对抗样本实现误分类，这表明深度学习模型很可能存在着大量的盲点。Anh Nguyen等人在CVPR 2015(IEEE Conference on Computer Vision and Pattern Recognition2015)上发表的论文中提到一种能够产生与原始样本差别相近的样本，但是模型对这些样本的识别结果发生错误，很多人认为该类数据是深度学习的缺陷。GoodFellow指出对抗样本的问题不止在深度学习领域存在，在传统的机器学习中也是存在的，因此研究对抗样本问题有助于机器学习整个领域的发展。所以研究对抗样本的生成算法可以在根本上研究对抗样本问题，从根源上找到解决对抗样本问题的关键。改进现有的模型训练方法，提高模型的安全性和鲁棒性，使机器学习模型尽快的进入人们的日常生产和生活中。

可以看到目前对人工智能安全性的研究还处在比较基础的阶段，各种攻击方法百花齐放，但是防御方法却一直争论不休。多数的防御方法只能抵抗少数几种对抗样本生成算法的攻击，很难找到一个比较好的模型鲁棒性增强方法，算法防御效率较低。提出一种对抗样本防御方法比提出一种的对抗样本生成算法更加困难。

其实对抗样本一般都是在正常样本基础上生成的，对于图像数据而言，在正常样本上添加一些人眼不可见的扰动，添加过后生成的样本能使人工智能模型面对这个样本时出现错误，为方便理解，且不考虑实现难度的情况下做如下举例，如人脸识别系统，对视频采集装置采集到的人物张三的某一帧人脸图像添加上一些人眼不可见的扰动，生成得到张三的人脸图像的对抗样本，将该对抗样本输入人脸识识别系统进行识别，人脸识别系统识别结果就变成了人物李四，进而对抗样本通过“伪装”，“欺骗”了人脸识别系统，让人脸识别系统给出了错误的结果。

词语解释：小像素的意思是指，对原始图像的破坏程度较小，不会产生过大的像素值修改。

发明内容

针对上述的技术问题，本发明的目的在于解决在小像素图像识别过程中，对添加扰动伪装后的图像识别错误的问题。

为了达到上述目的，本发明采用如下技术方案：