[发明专利]基于对抗性和任务提示性的小样本文本分类方法

摘要

本发明涉及软件通讯技术领域，且公开了基于对抗性和任务提示性的小样本文本分类方法，在PET(Pattern Exploiting Training，模板挖掘训练)模型的基础上，加入FGM对抗训练方法。修改后的模型称为融入对抗训练的模板挖掘训练(Adversarial Training Pattern Exploiting Training，AT‑PET)。在PET模型中融入对抗训练共有两种方式：在上游使用任务提示方法微调预训练语言模型时对于每个预训练语言模型微调过程中加入对抗训练、在下游分类器C使用Unlabeled软标签数据集微调时加入对抗训练。本发明为了解决小样本文本分类模型的泛化能力和鲁棒性弱的问题和提升PET模型在小样本文本分类问题上的效果，设计了融入对抗训练的模板挖掘训练(Adversarial Training Pattern Exploiting Training，AT‑PET)，通过在PET模型基础上增加适量扰动来让模型更好的拟合。