[发明专利]一种基于聚类预分析的多意图与语义槽联合识别方法

权利要求书

1.一种基于聚类预分析的多意图与语义槽联合识别方法，其特征在于，包括以下步骤：

步骤1，实时获取当前用户输入的文本，利用BERT模型将文本进行向量化表示；

步骤2，基于聚类预分析构建多意图识别模型，识别用户的多个意图；

步骤3，基于Slot-Gated关联门机制构建BiLSTM-CRF语义槽填充模型，利用意图识别的结果指导语义槽的填充；

步骤4，对由BERT模型、多意图识别模型以及语义槽填充模型构成联合模型进行优化训练，利用优化训练完成的联合模型进行识别；步骤2中多意图识别模型的识别方法包括两个阶段：

第一阶段：用K-means聚类算法，将输入的意图文本向量分为单意图和多意图两类；

第二阶段：对单意图类别的意图文本向量，采用softmax分类器进行分类识别；对多意图的意图文本向量，采用sigmoid分类器进行分类识别；

步骤4中采用联合多意图识别与语义槽填充的分步迭代训练方式进行优化训练：①利用训练文本对BERT模型和多意图识别模型进行训练，更新BERT模型和多意图识别模型的参数；②将①中多意图识别模型的输出传送至Slot-Gated，利用与①中相同的训练文本对①中更新后的BERT模型和语义槽填充模型进行训练，更新BERT模型和语义槽填充模型的参数；③迭代执行①和②，直到达到训练目标。

2.根据权利要求1所述的一种基于聚类预分析的多意图与语义槽联合识别方法，其特征在于，K-means聚类算法中的距离函数为：

其中，f_Sim(x_i,x_j)表示意图文本向量x_i和意图文本向量x_j之间的距离，f₁(x_i,x_j)表示意图文本向量x_i和意图文本向量x_j之间的余弦相似度，f₂(x_i,x_j)表示意图文本向量x_i和意图文本向量x_j之间的欧氏距离。

3.根据权利要求1所述的一种基于聚类预分析的多意图与语义槽联合识别方法，其特征在于，多意图识别模型的损失函数Loss_intent如下所示：

Loss_intent＝(Loss_multi)^k(Loss_single)^1-k

其中，k表示意图文本的类别，当意图文本包含多个意图时k为1，当意图文本为单意图时k为0；为多意图识别的交叉熵损失，为单意图识别的交叉熵损失，y^I为意图的预测输出，y^intent为真实意图，T是训练文本数。

4.根据权利要求1所述的一种基于聚类预分析的多意图与语义槽联合识别方法，其特征在于，语义槽填充模型的损失函数Loss_slot如下所示：

其中，表示训练文本序列中第i个字的语义槽预测输出，表示训练文本序列中第i个字的真实语义槽，T是训练文本数，M表示训练文本序列长度。

5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一所述的多意图与语义槽联合识别方法。

6.一种于聚类预分析的多意图与语义槽联合识别系统，其特征在于，包括：存储器和处理器；所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1至4中任一所述的多意图与语义槽联合识别方法。