[发明专利]基于对抗性和任务提示性的小样本文本分类方法

说明书

本发明涉及软件通讯技术领域，且公开了基于对抗性和任务提示性的小样本文本分类方法，在PET(Pattern Exploiting Training，模板挖掘训练)模型的基础上，加入FGM对抗训练方法。修改后的模型称为融入对抗训练的模板挖掘训练(Adversarial Training Pattern Exploiting Training，AT‑PET)。在PET模型中融入对抗训练共有两种方式：在上游使用任务提示方法微调预训练语言模型时对于每个预训练语言模型微调过程中加入对抗训练、在下游分类器C使用Unlabeled软标签数据集微调时加入对抗训练。本发明为了解决小样本文本分类模型的泛化能力和鲁棒性弱的问题和提升PET模型在小样本文本分类问题上的效果，设计了融入对抗训练的模板挖掘训练(Adversarial Training Pattern Exploiting Training，AT‑PET)，通过在PET模型基础上增加适量扰动来让模型更好的拟合。

技术领域

本发明涉及软件通讯技术领域，具体为基于对抗性和任务提示性的小样本文本分类方法。

背景技术

过去几年中，由于深度学习以及数据量的不断扩大，使得自然语言处理成为了领域研究热点。文本分类作为自然语言处理中最基本、最必要的任务。它是用计算机对文本数据集按照一定的分类体系或标准进行自动分类标记。大部分模型通过一个已标注的训练文档集合,找到文档特征和文档类别之间的关系。然后利用这种学习得到的关系模型对新的文档中的文本进行类别判断，在近年来，由于预训练语言模型在各种任务上展现出优秀的性能，越来越多的学者针对预训练语言模型进行广泛使用和研究。Jacob Devlin等人在2018年提出了BERT模型，首次把预训练语言模型提高到了风口浪尖的热度，之后的预训练语言模型层出不穷。各大公司、小组等组织都趋向于更大量数据集、更多参数和更大模型上做文章。但是，当计算资源匮乏的个人、组织面对这些取得SOTA结果的巨大模型时，甚至调用、微调都要花费巨额的成本。在这种环境下，P.Liu团队发表了一篇综述，将近代NLP技术的发展总结为四种范式：P1.非神经网络时代的完全监督学习(Fully SupervisedLearning, Non-Neural Network)、P2.基于神经网络的完全监督学习(Fully SupervisedLearning,Neural Network)、P3.预训练,精调范式(Pre-train,Fine-tune)、 P4.预训练,提示,预测范式(Pre-train,Prompt,Predict)。这篇综述不仅表明了在预训练语言模型中有大量可挖掘的知识，而且还推进了一种新的方向-基于任务提示的研究，并在小样本问题上取得了非常好的结果。但是在基于小样本的任务提示方法的模型中模型的鲁棒性低、泛化能力弱仍然存在，所以本专利主要在PET模型中融入对抗训练来提高模型整体的鲁棒性和泛化能力。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了基于对抗性和任务提示性的小样本文本分类方法，以解决上述背景技术中提出的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：

构建模型修改模块、模型训练模块和效果对比模块：

模型修改模块：