[发明专利]文本分类中的小样本学习方法

说明书

本发明揭示了一种文本分类中的小样本学习方法，以元学习与深度学习组合运用。具体先提出一种小样本学习数据集的提取方法，从原始分类数据集中构造出元学习数据集，而后构造文本分类的小样本学习模型，利用元学习数据集对组合模型进行训练，学习类别变化的情况下模型的泛化能力，学会不同元任务中的共性部分；利用这种学习机制所得模型，在面对新的小样本文本分类任务时，能通过对模型进行参数微调来快速完成小样本分类任务。应用本发明技术方案，较之于传统文本分类模型或深度学习的文本分类网络更快更准确。

技术领域

本发明涉及一种计算机自然语言处理方法，尤其涉及小样本情形下的文本分类学习方法。

背景技术

文本分类技术在现实生活中有广泛的应用，文本分类模型也多种多样，包括传统的机器学习方法和现阶段流行的深度学习方法，如fastText，TextCNN，TextRNN，Hierarchical Attention Network，Bert等。不同的分类模型有不同的侧重点，但是这些模型往往需要大量的标注样本。就目前大量的实验和工作证明，数据量的大小直接影响学习的性能。主要原因是由于传统的文本分类模型都是建立在具有大量的标签数据下的有监督学习。在使用深度学习器加以训练时，由于模型相对于样本数量过度复杂，模型参数过多，导致无法覆盖基本特征而产生了过拟合现象。这就导致这些模型在大量数据集的情况下效果较好，但是只有少量几条样本的情况下效果极差。

而往往在大多数时候，寻找数据需要花费相当多的时间，在很多实际的项目中难以找到充足的数据来完成任务。这时就需要能从小样本数据中学习模型来解决文本分类的问题。

另外，由于小样本学习的特殊性，需要学习到不同的类别间共性部分和类别变化的情况下模型的泛化能力，所以传统的基于样本与类别对的文本分类数据集不能直接应用于小样本学习任务的训练和测试。

发明内容

鉴于大多数场景下文本分类无法提供足量多可供训练的标签数据，本发明的目的旨在提出一种文本分类中的小样本学习方法，以解决只有少量样本下建模、完成文本分类的任务。

本发明实现上述目的的技术解决方案是：文本分类中的小样本学习方法，其特征在于包括步骤：

S1、构建训练集，基于元学习方法处理原始分类数据集，提取元学习的数据集；

S2、构建模型，在MAML框架下嵌套文本分类网络，构造组合的小样本学习模型；

S3、模型识别，对所构造的小样本学习模型进行训练，获得初始化参数，而后在新的任务中进行参数微调，利用微调后的小样本学习模型进行识别与发现。

上述文本分类中的小样本学习方法，进一步地，步骤S1中提取元学习的数据集的方法包括步骤：

S11、输入包含类别数量N、样本数量K、目录Dir，训练集数据量Train_num、测试集数据量Test_num的原始分类数据集，基于目录Dir整理原始分类数据集的信息；

S12、生成初始的元训练集和初始的元测试集，选择不相重复的训练集类别和测试集类别，而后在所选择的类别结果中随机抽取N个类别；

S13、在每个类别中随机抽取K条样本，N*K条样本一起构成单个元任务的子训练集support set，在每个类别中随机抽取1条样本，N*1条样本一起构成单个元任务的子测试集query set，将子测试集和子训练集合并为一个元任务，逐次加入到元训练集和元测试集中；

S14、循环执行对应训练集数据量Train_num次的步骤S13，获得终态的元训练集，并且循环执行对应测试集数据量Test_num次的步骤13，获得终态的元测试集；

S15、合并终态的元训练集和元测试集，得到元学习的数据集。