[发明专利]一种针对场景文字识别的非定向式白盒对抗攻击方法

权利要求书

1.一种针对场景文字识别的非定向式白盒对抗攻击方法，其特征在于，所述方法包括下述步骤：

(1)训练任意一种端到端的场景文字识别网络模型；

(2)利用上述训练好的场景文字识别网络模型生成对抗攻击样本，包括如下子步骤：

(2.1)生成随机噪声，原始图片叠加该随机噪声之后，生成初始的对抗攻击样本；设计针对序列文字识别的对抗攻击目标函数，来对对抗攻击样本进行迭代优化，最终得到符合预期的对抗攻击样本；

(2.2)为了加快生成对抗攻击样本的速度和减小噪声的大小，利用字符的识别概率分布和字符串的识别得分，进一步改进目标函数。

2.根据权利要求1所述的一种针对场景文字识别的非定向式白盒对抗攻击方法，其特征在于，所述场景文字识别网络模型是：

基于注意力机制的场景文字识别网络模型，或者是基于时序连接序列的场景文字识别网络模型。

3.根据权利要求2所述的一种针对场景文字识别的非定向式白盒对抗攻击方法，其特征在于，所述场景文字识别网络模型是基于注意力机制的场景文字识别网络模型，所述步骤(1)包括如下子步骤：

(1.1)对原始数据集中所有图片的任意形状文本进行单词级别的标注，标签为图片中所含文本的单词字符序列，得到带标注的标准训练数据集；

(1.2)构建基于注意力机制的端到端文字识别网络模型，所述识别网络模型中，残差网络作为特征编码器、基于注意力机制的序列识别网络作为序列解码器；

(1.3)文字识别网络模型输出每个字符的概率分布，和该图片的标签计算每个字符的交叉熵，并将所有字符的交叉熵之和作为该场景文字识别网络模型的目标损失函数。

4.根据权利要求3所述的一种针对场景文字识别的非定向式白盒对抗攻击方法，其特征在于，所述步骤(1.2)中的端到端文字识别网络模型具体为：

所述端到端文字识别网络模型由残差网络、双向长短期记忆层和基于注意力机制的序列识别网络组成；其中，残差网络Resnet以残差块为基础网络，通过修改不同层之间的池化大小，将三维的输入图片I表示成长度为n的二维特征向量序列{v₁，v₂...v_n}，其中v表示每一帧的图像特征向量；为了表征序列中，帧与帧之间的上下文关系，使用两层双向长短期记忆层BiLSTM对其进行建模，最终得到特征序列{h₁，h₂...h_n}，其中h表示具有上下文信息的每一帧特征向量；基于注意力机制的序列识别网络由一个单向的门控循环单元GRU构成，注意力模型的每一步会输出目标字符y_t的概率分布p(y_t)＝softmax(q_t)，其中q_t＝W_os_t+b_o，s_t是门控循环单元在t时刻的隐藏层特征，W_o、b_o分别是该全连接层的权重和偏移量，s_t＝GRU(s_t-1，(g_t，f(y_t-1)))，f(·)表示y_t-1的字符编码，g_t是特征序列的加权求和表示，α_t是一个注意力权重的向量，通过以下公式计算得到：e_t，i＝v^Ttanh(Ws_t-1+Vh_i+b)，其中，tanh(·)表示双曲正切函数，exp(·)表示指数函数，W和V分别表示该全连接层的权重和偏移量，最终，该场景文字识别网络模型的目标函数为其中T表示目标文字的字符个数。