[发明专利]一种面向文本分类模型的字词双粒度对抗防御系统及方法

权利要求书

1.一种面向文本分类模型的字词双粒度对抗防御系统，其特征在于，包括：

SVM分类器训练与预处理模块，该模块用于构造一个二分类的SVM分类模型，并基于SVM分类模型对本系统的输入文本进行预处理；

字符级防御模型模块，该模块实现对字符级攻击粒度的文本数据进行正确文本分类；

词汇级防御模型模块，该模块实现对词汇级攻击粒度的文本数据进行正确文本分类；

辅助信息模块，该辅助模块包括了分类正确率可视化、模型分类正确率对比、数据集信息展示、模型信息展示和导出预测结果组成部分，用于系统分类结果展示、性能评估和功能拓展。

2.根据权利要求1所述的面向文本分类模型的字词双粒度对抗防御系统，其特征在于，SVM分类器训练与预处理模块包括SVM分类模型原始语料的训练和基于该模型对系统输入数据的预处理；其中，预处理包括通过错次数和样本长度指标对抗样本攻击粒度分类。

3.根据权利要求1或2所述的面向文本分类模型的字词双粒度对抗防御系统，其特征在于，字符级防御模型模块包含对字符级对抗样本进行鲁棒编码和聚类分析。

4.根据权利要求3所述的面向文本分类模型的字词双粒度对抗防御系统，其特征在于，鲁棒编码和聚类分析的具体过程为：

字符级防御模型通过聚类方法对原始样本单词进行映射，所有的拼写错误会与原单词划分到同一簇中；因此，有如下定义：是V维向量空间R_|V|中根据单词w_i生成的一个向量，作为单词的词嵌入，定义编码的令牌与不包含单词w_i的聚类C_j中的单词有如下关系：

其中，p(w_i)为单词w_i被编码的频率；设C(i)为单词w_i的聚类索引，定义保真度目标Fid为：

当高频词和罕见词在同一簇中时，Fid为高；当多个高频词在同一簇中时，Fid为低；

对稳定性而言，稳定性度量单词的拼写映射到不同编码标记的程度；因此，定义一组可以映射出拼写错误的单词w_i的标记B_π(w_i)：

其中，B(w_i)是w_i允许的打字错误集；表示B(w_i)中除w_i外的单词；表示可以映射出拼写错误的单词w_i的单词集合；使用编码频率p(w_i)在聚类C上定义标准化频率Stab，聚类C的标准化频率如下：

引入一个超参数γ∈[0,1]来平衡泛化性和稳定性，近似最小化Stab和Fid的加权组合:

ψ(C)＝γFid(C)+(1-γ)Stab(C)。

5.根据权利要求1或2所述的面向文本分类模型的字词双粒度对抗防御系统，其特征在于，词汇级防御模型模块通过PWWS方法生成对抗样本，进行对抗训练，最终得到鲁棒的对抗防御模型。

6.根据权利要求5所述的面向文本分类模型的字词双粒度对抗防御系统，其特征在于，对抗训练过程中的训练样本由原始样本和基于PWWS方法生成的对抗样本按1:1比例生成。

7.一种面向文本分类模型的字词双粒度对抗防御方法，其特征在于，包括如下步骤：

1)首先通过大量原始样本和对抗样本训练，得到基于SVM的机器学习SVM分类模型；训练得到的SVM分类模型对输入的文本数据进行预处理，通过错词数和样本长度进行对抗样本攻击粒度分类，并分为字符级对抗样本和词汇级对抗样本两类；

2)对于字符级对抗样本，引入Robust Encodings防御方法，对不同数据做相同的映射，设计字符级防御模型；

3)对于词汇级对抗样本，在PWWS攻击方法的基础上通过单词级防御算法设计词汇级防御模型；

4)将字符级防御模型和词汇级防御模型集成封装成一个独立可调用的综合对抗防御系统，并添加了模型信息展示、数据集信息展示和效果评估辅助功能板块。