[发明专利]一种用于小样本意图识别的文本数据优化方法

权利要求书

1.一种用于小样本意图识别的文本数据优化方法，其特征在于，包括以下步骤：

步骤1，构建训练文本数据集；

步骤2，对训练任务按照具有的意图数阶梯式地划分级别；

步骤3，采样一个批次的小样本意图识别训练样本；

步骤4，在基于度量学习的元学习模型上使用采样出的同一批次的两个以上的任务做并行训练；

步骤5，判断训练是否终止；

步骤6，结束模型训练。

2.根据权利要求1所述的方法，其特征在于，步骤1包括：定义训练文本数据集为S＝{T₁，T₂，...，T_n}，其中T_i为真实对话场景中的第i个小样本意图识别任务，n为S中总的训练任务数，i取值为1～n；

每一个小样本意图识别任务被定义为其中Intent_ij为T_i对应对话场景下的一个意图，C_i为T_i所含有的意图个数；

对于每个任务下的一个意图被定义为其中query_ijk为被标注为Intent_ij的一条对话文本，N_ij为意图Intent_ij所含的标注文本总数。

3.根据权利要求2所述的方法，其特征在于，步骤2包括：构建级别列表levels＝{L₁，L₂，...，L_M}，L_M表示第M个级别；

一个训练任务所具有的意图数达到的最大的一个级别对应数值就是训练任务的级别，即如果T_i所含意图数C_i≥L_l且C_i＜L_l+1，则T_i对应级别就是L_l，如果C_i≥L_M则T_i对应级别就是L_M；

根据每个任务T_i所含有的意图个数将训练文本数据集S中的所有任务划分到不同的子集中，即构建训练文本数据集S的划分其中表示对应于级别L_M的子集。

4.根据权利要求3所述的方法，其特征在于，步骤3包括：

步骤3-1，确定当前批次要采样的级别L_l；

步骤3-2，在级别L_l的任务集合中采样出一个任务T_i；

步骤3-3，在任务T_i中采样出L_l个意图；

步骤3-4，对于L_l个意图，每个意图采样出k条对话文本；

步骤3-5，判断是否完成本批次采样：如果已经采样出了级别对应批次大小个训练任务样本，则执行步骤3-6，否则返回步骤3-2继续采样；

步骤3-6，返回当前批次采样出的训练数据：当前批次的训练数据D包含有个任务，每个任务包含有L_l个意图，每个意图都含有k条被标注为所述意图的对话文本；

将训练数据D拆分为支撑集D_support和查询集D_query，拆分方法为将训练数据D下每个意图的k条对话文本对应拆分为分别有k_support和k_query条对话文本的两个子集，其中满足k＝k_support+k_query。

5.根据权利要求4所述的方法，其特征在于，步骤4中，所述基于度量学习的元学习模型包括编码器和相似度度量函数。