[发明专利]一种用于小样本意图识别的文本数据优化方法

说明书

本发明提供了一种用于小样本意图识别的文本数据优化方法，包括以下步骤：步骤1，构建训练文本数据集；步骤2，对训练任务按照具有的意图数阶梯式地划分级别；步骤3，采样一个批次的小样本意图识别训练样本；步骤4，在基于度量学习的元学习模型上使用采样出的同一批次的两个以上的任务做并行训练；步骤5，判断训练是否终止；步骤6，结束模型训练。本发明可以将并行化训练元学习模型应用在现实场景中小样本意图识别的训练任务意图数不一致的情况。

技术领域

本发明属于自然语言处理的意图识别领域，尤其涉及一种用于小样本意图识别的文本数据优化方法。

背景技术

意图识别技术(Intent Detection)是构建人机交互对话系统(Dialogue System)的 关键技术之一。所谓意图识别，就是计算机程序能够分析处理输入的对话文本中所含的语义信息，最后判断出其所属的意图类别。

在现在流行的人机对话系统平台中，往往需要用户自己创建新的对话任务并提供相关的标注数据。但由于数据标注成本的高昂，很多用户无法提供大量的标注文本， 每条意图往往只有十几条甚至几条样本。这种情况下的意图识别任务属于小样本意图 识别(Few-shot Intent Detection)，需要看作小样本学习问题(Few-shot Learning)来处 理。

一般的传统的机器学习以及深度学习方法在小数据下往往存在过拟合的现象，无法满足使用需求。而元学习(Meta Learning)正是一种被用于解决小样本学习问题的 机器学习方法。元学习的目标是在各种学习任务上训练神经网络模型，从而使模型仅 使用少量训练样本就可以解决新的学习任务。元学习在训练模型时使用的各种学习任 务通常也是小样本学习任务，这些任务在科研中往往被设置为具有相同分类类别数的 分类任务(Classification)。将元学习应用于小样本意图识别时，训练阶段的每个训练 任务都是一个小样本意图识别任务。

然而由于在小样本意图识别的现实应用场景中的特殊性，每个意图识别任务所具有的意图数，也就是分类类别数通常是不一致的。因此将元学习应用在小样本意图识 别任务时，会由于训练集中的训练任务意图数不同导致无法并行训练。

目前对于使用元学习训练时意图识别任务意图数不一致的问题。第一类方法是只关注于训练任务意图数相同的理想情况，在这种情况下可以自然地进行并行化训练。 第二类是对于意图数不同的训练任务，统一采取串行的训练方式，每一步仅训练单个 任务。

【论文一】Model-Agnostic Meta-Learning for Fast Adaptation of DeepNetworks.

该论文中元学习使用的训练任务是从类别数较大的分类任务的所有类别中采样固 定个数的子类别集合而来，具有相同类别数的训练任务可以自然地并行训练。

【论文二】Few-shot text classification with induction network.

该论文中包含在小样本意图识别数据集ODIC上的实验，其将所有训练集中的意图整合成一个统一的集合，每步训练时从总的意图集合中采样出5个意图作为一个训 练任务。该方法同论文一，也可以自然地并行训练。

【论文二】FewJoint:A Few-shot Learning Benchmark for Joint LanguageUnderstanding.

该论文的训练数据来源于现实场景，小样本意图识别的训练任务意图总数不等，意图数为从1到7不等。该论文使用的训练方法是每步仅训练单个任务的单条样本， 是一种串行的训练方式。

论文一代表的是研究中理想化的元学习应用场景，该场景下所有的训练任务都具有相同的类别数。而实际场景中由于场景的差异和样本标注成本的昂贵，能获得的可 用于训练的有标注任务具有的分类类别数往往是不同的。因此论文一代表的理想方案 在一些现实场景下无法使用。