[发明专利]一种基于伪标签自训练和源域再训练的新对话意图识别方法

权利要求书

1.一种基于伪标签自训练和源域再训练的新对话意图识别方法，其特征在于，包括以下步骤：

1)使用模型Net1和模型Net2对输入进行特征提取，分别得到第i个输入的向量表示和对和进行加权组合得到第i个输入的最终表示

所述模型Net1和模型Net2为结构相同的BERT模型；

2)使用聚类模型Kmeans对输入的最终向量表示进行聚类操作，得到每个样本所属类别的伪标签

使用Softmax分类器对输入的向量表示和分别进行分类操作，得到每个样本所属类别的另外两组伪标签和

对和进行线性变换，得到模型对第i个输入的预测概率分布向量和

采用自训练的方法，通过交叉熵损失计算预测概率分布向量与伪标签的差异，预测概率分布向量与伪标签的差异以及预测概率分布向量与伪标签的差异，对所有输入样本的损失进行求和，得到损失值对损失值进行加权组合得到伪标签自训练的最终损失值

3)使用有标注数据对模型Net1和模型Net2进行再训练，通过交叉熵损失函数计算预测概率分布向量和与真实标签之间的差异，得到有标注训练的损失值

4)对和进行加权组合，得到最终的损失值通过反向传播不断更新模型参数，使得模型的预测与真实值的之差在预设范围内；

5)将待分类对话文本分别输入到模型Kmeans、模型Net1和模型Net2进行标签预测，对得到的预测标签进行加权组合，最后使用Softmax分类器对组合结果进行分类。

2.根据权利要求1所述的基于伪标签自训练和源域再训练的新对话意图识别方法，其特征在于，步骤1)中的特征提取的具体操作为：

针对第i个输入文本s_i，使用模型Net1和模型Net2分别进行特征提取，得到向量表示和

其中，MeanPooling表示对BERT模型最终的输出做平均池化，和为输入的隐藏层表示，σ表示ReLU激活函数，W_a,b_a为可学习参数。

3.根据权利要求2所述的基于伪标签自训练和源域再训练的新对话意图识别方法，其特征在于，步骤1)中求最终表示的操作为：

对s_i的两个向量表示进行加权组合，得到s_i的最终向量表示

其中，λ_f为超参数，为预设值，用于平衡两个向量表示所占的权重。

4.根据权利要求1所述的基于伪标签自训练和源域再训练的新对话意图识别方法，其特征在于，步骤2)的伪标签生成的具体操作为：

将s_i的最终向量表示输入到聚类模型Kmeans中，得到其对应类别的伪标签

其中，μ_j为聚类过程中第j簇中心的向量表示，为指示函数，||.||²为欧式距离；

利用Softmax分类器对模型Net1和模型Net2提取到的输入向量和进行分类操作，从而得到每个样本所属类别的另外两组伪标签和

通过一层线性层对输入向量和进行线性变换，得到模型Net1和模型Net2对于第i个输入的预测概率分布向量及

其中，W_c，b_c，W_m，b_m均为可学习参数。

5.根据权利要求4所述的基于伪标签自训练和源域再训练的新对话意图识别方法，其特征在于，步骤2)的自训练得到损失值的具体操作为：

通过自训练的方法，利用交叉熵损失函数分别计算预测概率分布向量与伪标签的差异，预测概率分布向量与伪标签的差异以及预测概率分布向量与伪标签的差异，对所有输入样本的损失进行求和，得到损失值

其中，N为样本数量，exp()为指数函数；

对损失值进行加权组合得到伪标签自训练的最终损失值

其中，λ_s1和λ_s2均为超参数，为预设值。