[发明专利]一种利用谓宾信息筛选负样本的新意图识别方法

权利要求书

1.一种利用谓宾信息筛选负样本的新意图识别方法，其特征在于，包括如下步骤：

步骤1，输入意图标签和标注的正样本；

步骤2，收集无标注的句子样本，计算无标注样本与意图标签的相似度，排序并筛选后作为用于后续训练意图识别模型的负样本；

步骤3，结合正、负样本训练意图识别模型；

步骤4，使用训练好的意图识别模型对用户输入进行预测。

2.根据权利要求1所述的方法，其特征在于，步骤2包括：

步骤2-1，输入无标注样本和意图标签；

步骤2-2，对无标注样本和意图标签的文本进行分词，然后使用预训练的词向量将分词得到的词语依次映射到对应的向量，得到样本和意图标签的向量化表示；

步骤2-3，对无标注样本进行句法分析，获得它的句法结构信息，识别出其中的谓语和宾语成份；

步骤2-4，计算无标注样本和意图标签之间的相似度，采用词移距离作为相似度指标；

步骤2-5，按照相似度对无标注样本降序排序，选择与正样本同等数量的无标注样本作为训练意图识别模型的负样本。

3.根据权利要求2所述的方法，其特征在于，步骤2-4包括：

步骤2-4-1，汇总所有无标注样本和意图标签的分词结果构造词汇表；

步骤2-4-2，使用nBOW向量d，d′分别表示无标注样本和意图标签中每个词的权重，对于无标注样本，设定词汇表的大小为n，则无标注样本中第i个词的权重d_i为该词在无标注样本中出现的次数c_i除以词表中所有词在无标注样本中出现的次数之和，计算公式为：其中α_i是对无标注样本中谓宾成份词权重的增强系数，如果第i个词属于宾语或谓语成份，则α_i为大于1的常数，否则α_i＝1；

对于意图标签，意图标签中第i个词的的权重d′_j通过该词在意图标签中出现的次数c′_j除以词表中所有词在意图标签中出现的次数之和得到，并对意图标签中的谓宾成份词进行权重增强，计算公式为：

步骤2-4-3，对无标注样本和意图标签之间的每个词都计算两两之间的距离，计算方式为：设定无标注样本和意图标签之间两个词对应的词向量分别表示为w_i，w_j，通过词向量欧式距离来表示两个词的距离sim(i，j)：sim(i，j)＝||w_i-w_j||₂；

步骤2-4-4，计算得到无标注样本与意图标签之间的相似度。

4.根据权利要求3所述的方法，其特征在于，步骤2-4-4包括：构造转移矩阵T∈R^n×n，R^n×n表示一个维度为n×n的实数矩阵，其中T_ij表示第i个词中权重转移至第j个词上的数量；在计算无标注样本和意图标签之间的相似度时，要求无标注样本中每个词的权重全部转移到意图标签的词上，即通过一种无标注样本与意图标签之间词的映射方式，使得词与词之间通过转移矩阵加权的距离之和最小，得到的最小距离记为无标注样本与意图标签之间的相似度，公式如下：