[发明专利]基于对抗性和任务提示性的小样本文本分类方法

权利要求书

1.基于对抗性和任务提示性的小样本文本分类方法，其特征在于：包括以下步骤：

S1、构建模型修改模块、模型训练模块和效果对比模块；

S2、针对小样本文本分类问题，选用AGNews数据集，该数据集在2000多种不同的新闻来源搜集数据，其中一共包含120000条训练样本，测试样本为7600条，分类名称为World、Sports、Business、Sci/Tech共四种类别，由于AGNews数据集的标准以及发布机构的权威，大量模型在文本分类任务上的效果展示都在AGNews数据集上进行训练和评价指标的对比；

S3、设置实验组和对照组进行对比，其中方法使用控制不同量数据集：设置训练数据集D为10、50、100、1000四组对照实验，按1:4对训练集进行分割；

S4、使用7600条的测试数据集作为测试集，最终在测试集进行测试获得评价指标，使用准确率作为评价指标，使用AGNews分类任务构建的六种PVPs人工模板；

S5、使用AT-PET模型，采用与经典的PET模型论文在AGNews数据集中相同的实验设置：使用Roberta-large模型作为预训练语言模型，分别设置数据量D为10、50、100、1000使用任务提示方法微调上游预训练语言模型，在微调过程中添加FGM对抗训练方法；

S6、未标注的Unlabeled软标签数据集使用10000条去掉标签的训练集，上游t个预训练语言模型标注出t份软标签数据集的logits值，标注出的t份logits值软标签数据集使用权值进行融合。

2.根据权利要求1所述的基于对抗性和任务提示性的小样本文本分类方法，其特征在于：直接微调(Fine-Tuning)预训练语言模型，直接微调预训练语言模型是使用Roberta-large模型作为预训练语言模型，分别设置数据量D为10、50、100、1000直接使用微调方法。

3.根据权利要求1所述的基于对抗性和任务提示性的小样本文本分类方法，其特征在于：直接使用PET模型。

4.根据权利要求1所述的基于对抗性和任务提示性的小样本文本分类方法，其特征在于：所述采用AGNews数据集中相同的实验设置。

5.根据权利要求1所述的基于对抗性和任务提示性的小样本文本分类方法，其特征在于：所述使用Roberta-large模型作为预训练语言模型，分别设置数据量D为10、50、100、1000使用任务提示方法微调上游预训练语言模型。未标注的软标签数据集同实验组。

6.根据权利要求1所述的基于对抗性和任务提示性的小样本文本分类方法，其特征在于：S3中，使用原训练集的1/5作为验证集，使用原训练集的4/5作为训练数据。

7.根据权利要求1所述的基于对抗性和任务提示性的小样本文本分类方法，其特征在于：S6中，其中权值为做微调之前对不同模板的模型直接进行测试的准确率值,之后使用融合后的软标签数据集微调分类器C。