[发明专利]针对黑盒文本分类模型的对抗文本生成方法、系统及介质

说明书

本申请涉及对抗文本生成技术领域，更为具体来说，本申请涉及针对黑盒文本分类模型的对抗文本生成方法、系统及介质。所述方法包括：获取黑盒文本分类模型的原始语料和分类标签；对原始语料进行分词，得到原始语料对应的词序列；分别获取词序列中每个词的预设数目个同义词；依次用每个词的同义词替换候选句子中所述词的位置形成新的句子，组成新候选文本集合；用所述新候选文本集合中的每一个句子依次作为所述黑盒文本分类模型的输入，分别得到对应的输出结果，筛选出原始语料对应的原标签的概率值最低的K个句子组成对抗文本集合。本申请在对抗样本质量和有效性控制以及攻击成功率方面有更好的表现，所产生的对抗样本具有通顺性和流畅性。

技术领域

本申请涉及对抗文本生成技术领域，更为具体来说，本申请涉及针对黑盒文本分类模型的对抗文本生成方法、系统及介质。

背景技术

深度学习的安全性问题已经逐渐被学术界、工业界所认识到并且重视，但重视不表明就能预防或抵抗外部对各种深度学习模型的攻击，特别是图像领域。在自然语言处理中也有着和人脸识别中同样的问题。对一个模型能正常分类的自然语言句子，改写成另一个同义句子，模型就有可能识别错误。再如敏感信息识别中，模型是要识别包含敏感信息的句子，如辱骂、色情、涉政等。如果用户发送包含敏感信息的句子，模型便会将其识别；而用户可以通过改写敏感信息的句子，绕过模型识别。但总的来说，相比于图像领域，对文本领的攻击还不多。因为文本具有离散性特点，使得对其形成攻击文本的生成更具挑战性。由于文本离散的特点，相比于图像、声音等连续信号媒介，对文本领域的对抗攻击更具挑战性，尚存在开发空间。最理想的情况是攻击者完全掌握受害模型，可以调用受害模型来获取其相对于某一给定输入的输出结果并且知道其内部的所有参数。在这种情况下，攻击者往往可以利用类似梯度下降的优化方法来调整扰动进而产生对抗样本。这样的设定称为白盒(White-Box)设定，相应的对抗攻击被称为基于梯度的攻击(Gradient-Based Attack)。

然而，攻击者无法得知受害模型的内部结构及参数，也就是说，我们要攻击的是黑盒文本分类模型，所以亟需要一种针对黑盒文本分类模型的攻击方法。

发明内容

基于上述问题，本发明目的在于对原始语料分词，分别获取每个词的多个同义词，在此基础上用同义词替换候选句子组成新候选文本集合，用所述新候选文本集合中的每一个句子依次作为所述黑盒文本分类模型的输入，分别得到对应的输出结果，筛选出原始语料对应的原标签的概率值最低的预设数目个句子作为组成对抗文本集合即为黑盒文本分类模型的对抗文本。

为实现上述技术目的，本申请提供了一种针对黑盒文本分类模型的对抗文本生成方法，包括以下步骤：

获取黑盒文本分类模型的原始语料和分类标签；

对原始语料进行分词，得到原始语料对应的词序列；

分别获取词序列中每个词的预设数目个同义词；

依次用每个词的同义词替换候选句子中所述词的位置形成新的句子，组成新候选文本集合；

用所述新候选文本集合中的每一个句子依次作为所述黑盒文本分类模型的输入，分别得到对应的输出结果，筛选出原始语料对应的原标签的概率值最低的K个句子组成对抗文本集合，K为整数。

优选地，在用每个词的同义词替换候选句子中所述词的位置形成新的句子，组成新候选文本集合之前还包括：计算所述词序列中每个词的重要性，并按重要性大小将每个词排序。

具体地，所述计算词序列中每个词的重要性的方法为：

W_i＝F_Y({X₁，X₂...，X_L})-F_Y({X₁，...，X_i-1，X_i+1，...，X_L})