[发明专利]一种针对场景文字识别的非定向式白盒对抗攻击方法

说明书

本发明公开了一种针对场景文字识别的非定向式白盒对抗攻击方法，在输入图像中加入人眼难以察觉的噪声，使文字识别算法得到和原来截然不同的识别结果，从而达到攻击场景文字识别网络模型的效果。区别于一般物体的识别，文字识别的结果是字符序列，所以现有的对抗攻击方法不能直接被应用到场景文字识别中。所以，首先将单物体分类的对抗攻击算法中的目标函数，修改成序列形式；为了加快生成对抗样本，引入阶跃函数，一旦对抗样本的识别结果中，有一个字符和原图的识别结果不同，目标函数的惩罚为零；此外，考虑到不同样本的攻击难易程度不一样，越容易被识别正确的样本，越难被攻击，所以在目标函数中引入识别得分，从而得到扰动更小的对抗样本。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种针对场景文字识别的非定向式白盒对抗攻击方法。

背景技术

在计算机视觉领域，因为文本外观的多样性和自然场景的复杂性，场景文本识别是一项具有挑战性的任务。得益于深度学习的发展和大量的训练数据，近年来，场景文本识别取得了令人印象深刻的发展。但是，最近的对抗性研究表明，深度学习模型容易受到输入数据微小扰动的干扰，而导致模型输出发生巨大变化。作为在计算机视觉中最落地的任务之一，场景文本识别依然面临着巨大的安全风险。但是目前一直没有针对注意力机制的场景文本识别器进行对抗性攻击的工作。为此，对该方面的研究迫在眉睫。

区别于一般图像图片，场景文本图片的内容是字符序列，所以虽然近年来有不少一般图像的对抗性研究，但是不能直接被应用到场景文本识别中。此外，目前主流的对抗攻击方法可以分为两大类，第一种是基于梯度的方法，该方法的优点是攻击效率高，但是缺点是对抗样本的扰动较大；第二种是基于优化的方法，该方法的优点是可以生成扰动较小的对抗样本，但是缺点是需要多次迭代优化，所以攻击效率可能较低。因此需要设计一种同时保证攻击成功效率和减小扰动大小的方法。

发明内容

本发明的目的在于提供一种针对场景文字识别的非定向式白盒对抗攻击方法，首先将针对图像分类、语义分割和图像检索这类非序列图像而设计的对抗攻击目标函数调整成适合场景文字的形式。然后通过改进该目标函数，该发明可以进一步减小扰动，并且同时获得更高的攻击成功率。该方法可以被用来促进研究更鲁棒的识别系统，并且也可被用于基于文本的验证码人机验证系统。

为实现上述目的，本发明提供了一种针对场景文字识别的非定向式白盒对抗攻击方法，包括下述步骤：

(1)训练任意一种端到端的场景文字识别网络模型，可以是基于注意力机制的场景文字识别网络模型，也可以是基于时序连接序列的场景文字识别网络模型，这里以基于注意力机制的场景文字识别网络模型为主，包括如下子步骤：

(1.1)对原始数据集中所有图片的任意形状文本进行单词级别的标注，标签为图片中所含文本的单词字符序列，得到带标注的标准训练数据集；

(1.2)构建基于注意力机制的端到端文字识别网络模型，所述识别网络模型中，残差网络作为特征编码器、基于注意力机制的序列识别网络作为序列解码器；

(1.3)文字识别网络模型输出每个字符的概率分布，和该图片的标签计算每个字符的交叉熵，并将所有字符的交叉熵之和作为该场景文字识别网络模型的目标损失函数；

(2)利用上述训练好的场景文字识别网络模型生成对抗攻击样本，包括如下子步骤：

(2.1)生成随机噪声，原始图片叠加该随机噪声之后，生成初始的对抗攻击样本。为了保证该噪声足够小，人眼几乎不能观察到，并且对抗攻击样本所得到的识别结果和原图的识别结果不一致，需要设计针对序列文字识别的对抗攻击目标函数，来对其进行迭代优化，最终得到符合预期的对抗攻击样本。