[发明专利]一种针对朴素贝叶斯分类器的边际攻击方法、装置及存储介质

说明书

本发明公开了一种针对朴素贝叶斯分类器的边际攻击方法，步骤包括：获取文本分类器的文本类别，并且计算两个所述文本类别之间的频率比；以所述频率比作为索引，对词汇表进行排序，得到敏感词集；随机选取若干个敏感词添加到原始样本，得到对抗样本；将所述对抗样本输入到文本分类器，得到错误分类的文本类别。本发明提供了一种针对朴素贝叶斯分类器的边际攻击方法、装置及存储介质，能够高效攻击基于朴素贝叶斯的文本分类器。

技术领域

本发明涉及自然语言处理及机器学习技术领域，尤其是涉及一种针对朴素贝叶斯分类器的边际攻击方法、装置及存储介质。

背景技术

自然语言处理(NLP)是计算机科学研究的重要领域，文本分类是NLP领域的一个重要分支，旨在让计算机智能识别指定文本的类别。作为文本分类中最经典的方法——朴素贝叶斯算法，是对贝叶斯算法的简化，即假定目标的各属性特征相互独立。简化的朴素贝叶斯算法在时间和空间复杂度较低的情况下，仍具有很高的分类精度，因此被广泛使用。

随着机器学习的飞速发展，对抗样本的概念被提出，即通过对原始样本添加微小扰动生成对抗样本，该对抗样本使得分类器识别出错，但人眼很难区分原始样本和对抗样本。

最早提出的对抗样本是用于攻击神经网络，在论文“Explaining and HarnessingAdversarial Examples”(Goodfellow I,Shlens J,Szegedy C,et al.Explaining andHarnessing Adversarial Examples[J].2014.)中，Goodfellow等人提出快速梯度下降(FGSM)的方法来生成对抗样本，以攻击诸如ImageNet等的神经网络。在此论文中，深度神经网络被近似为如下线性模型：

f(x)＝w^Tx+b

样本加入扰动η后，模型输出为：

其中，w^T是参数矩阵；x是正常样本；η是添加的扰动；为了保证扰动是极小的，无法被人感知，存在一个极小量ε满足||η||_∞ε；是添加扰动后的对抗样本。

对抗性扰动体现在η项中，为了最大化扰动对模型的干扰，令η＝εsign(w)，假设w^T有n个维度，平均大小为m,则w^Tη＝εmn。虽然ε是一个极小的值，但是当维度n充分大时，w^Tη会是一个很大的值，对神经网络的预测造成很大影响。

该技术虽然可以高效生成对抗样本并使得分类器的分类精度大幅下降，但对抗样本的作用主体是图片，图片可以视作为一系列连续的像素值，而对于文本，尤其是中文文本来说，文本会被抽象为离散化的数值，故针对图像分类的对抗样本生成方法并不能完全适用到文本分类中。

在论文“Crafting Adversarial Input Sequences for Recurrent NeuralNetworks”(Papernot N,Mcdaniel P,Swami A,et al.Crafting Adversarial InputSequences for Recurrent Neural Networks[J].2016.)中，Papernot等人利用前向导数方法(JSMA)，将循环神经网络(RNN)利用计算图展开，计算出神经网络最后一层输出层对输入层的偏导，从而更精确的找到不同维度的输入与不同维度的输出之间的映射关系，有针对性的精心制作了英文文本的对抗性文本，在平均修改9个单词的情况下可以达到100％的攻击成功率，有效地攻击了基于RNN的序列到序列(Seq2Seq)模型。

但是，序列模型的输出是从无到有按顺序生成序列，而分类模型却只需要给出分类概率，因此，该技术不能很好地应用于分类场景，该攻击方法对朴素贝叶斯分类器不适用。

发明内容