[发明专利]基于可解释性对抗文本的对抗训练方法

权利要求书

1.一种基于可解释性文本的对抗训练方法，其特征在于：所述方法包括以下步骤：

(1)使用python的开源PyEnchant包根据字典树对单词进行拼写检查，将输入的文本转为可读的文本；

(2)将进过拼写检查的单词，进行词向量的训练，将离散的文本转为连续的词向量表示；

(3)构建文本分类模型，根据文本对应的词向量输入和其对应的标签训练文本分类模型；

(4)根据对抗样本生成的方法和初始的文本分类模型依次生成文本对抗样本；

(5)利用生成的文本对抗样本和原始的样本，重新训练原始分类模型，得到可防御对抗样本攻击的文本分类模型。

2.根据权利要求1所述的基于可解释性文本的对抗训练方法，其特征在于：步骤(2)中所述的将离散的文本转为连续的词向量表示具体为使用python的开源PyEnchant包根据字典树对单词进行拼写检查：将全部的英式英语和美式英语单词作为词典，构造多叉的词典树；做检查的时候，从根节点，一级一级的向下找；若字母匹配失败，那么这个单词则为错误的拼写；对于错误的拼写将其转为原始的文本。

3.根据权利要求1所述的基于可解释性文本的对抗训练方法，其特征在于：步骤(3)所述的构建文本分类模型，根据Word2vec技术训练对应的词向量模型，训练的模型采用连续词袋模型；通过连续词袋模型将过滤过的文本训练为具有语义信息的词向量，并用词向量作为神经网络模型的输入。

4.根据权利要求1所述的基于可解释性文本的对抗训练方法，其特征在于：骤(3)所述的练文本分类模型，具体为预训练RNN文本分类模型，令D表示数据集，θ表示基于RNN的模型中的总体参数；是整个训练数据的损失函数，是数据集D上个体训练样本的损失函数，旨在最大化给定输入向量X′和模型参数θ时类别Y′的概率，最小化公式(1)，找到基于RNN的分类模型的最佳参数：

5.根据权利要求1或3所述的基于可解释性文本的对抗训练方法，其特征在于：步骤(3)包括以下内容：

1)依次将文本序列中的单词作为扰动词；

2)计算该扰动词向量与其前后上下文背景词的词向量的方向向量，并将添加的扰动限制在这些方向向量上；

3)让模型自适应的从扰动方向中寻找满足条件的扰动，生成具有可解释性的对抗样本。

4)令词向量的滑动窗口为k，即上下文背景词窗口的词向量数量为2k；将上下文背景词窗口中的词向量下标由v_t-k，…，v_t-1，v_t+1，…，v_t+k变为v₀，v₁，…，v_2k-1，v_2k；

令v_m为输入序列中每个中心词的所对应的上下文背景词窗口中的第m个单词对应的词向量，定义表示词向量空间中v^(t)到v_m的方向：

对于所有的t和m，都是一个单位向量，

并定义r(α^(t))表示为X′中的第t个单词的词向量生成的扰动，其维度与词向量的维度相同；r(α^(t))由随机初始的α^(t)参数化：

是从输入中的第t个单词到的其前后各k个单词方向的权重；

引入X′_+r(α)表示添加了扰动的输入，对序列中的每个单词添加扰动：

5)将α的取值限制在∈之内：

α_cbow-iadvt＝argmin_{α，||α||≤5∈}log(p(Y′|X′_+r(α)，θ)) (5)

6.根据权利要求1所述的基于可解释性文本的对抗训练方法，其特征在于：步骤(3)所述的生成文本对抗样本，包括以下步骤：

1)定义对抗训练的损失函数：

α_cbow-iadvt＝argmin_{α，||a||≤∈}log(p(Y′|X′_+r(α)，θ)) (6)

2)用来代替优化公式为：

3)非迭代解决方案来计算α_cbow-iadvt：

其中g是所有的g^(t)的级联向量。