[发明专利]一种基于端到端的ID+SF模型的用户对话需求提取方法及系统

权利要求书

1.一种基于端到端的ID+SF模型的用户对话需求提取方法，其特征在于，包括如下步骤：

第1步，获得对话数据集作为训练样本，并对数据集进行标注；在标注过程中，对于含有多个意图的句子分别拆分成含有单个意图的句子并标注；

第2步，对第1步中得到的训练样本采用基于迁移学习中文预训练模型BERT提取信息，获得句向量数据；

第3步，对第2步中得到的句向量数据采用Transformer模型处理，增加模型的深度；再通过全连接层处理后得到输出数据；

第4步，对第3步得到的输出数据进行两个方向的降维求平均值，得到两个矩阵；

第5步，对第4步中得到的两个矩阵分别进行意图识别和序列标注，得到最终的预测标签；

第6步，模型迭代并不断进行参数更新，直至达到收敛条件即停止；

第7步，向训练好的模型中输入待处理的对话数据，获得提取结果。

2.根据权利要求1所述的基于端到端的ID+SF模型的用户对话需求提取方法，其特征在于，所述的全连接层的输出格式是：

(out_{batch_size}，out_length，out_width)

其中，out_{batch_size}表示输入的数据条数，out_length，out_width表示一条句子的多意图向量表示。

3.根据权利要求1所述的基于端到端的ID+SF模型的用户对话需求提取方法，其特征在于，在第5步中，用Softmax进行意图识别和序列标注；并且，模型的损失函数定义是：

其中，loss_id表示每一种意图的损失,loss_sf表示每一种意图下实体识别的损失。

4.一种基于端到端的ID+SF模型的用户对话需求提取系统，其特征在于，包括：

样本处理模块，用于获得对话数据集作为训练样本，并对数据集进行标注；在标注过程中，对于含有多个意图的句子分别拆分成含有单个意图的句子并标注；

句向量获取模块，用于对样本处理模块中得到的训练样本采用基于迁移学习中文预训练模型BERT提取信息，获得句向量数据；

模型处理模块，用于对句向量获取模块得到的句向量数据采用Transformer模型处理，增加模型的深度；再通过全连接层处理后得到输出数据；

降维处理模块，用于对模型处理模块得到的输出数据进行两个方向的降维求平均值，得到两个矩阵；

输出模块，用于对降维处理模块中得到的两个矩阵分别进行意图识别和序列标注，得到最终的预测标签。

5.一种计算机可读取介质，其特征在于，其记载有可以运行权利要求1-3任一项所述一种基于端到端的ID+SF模型的用户对话需求提取方法的程序。