[发明专利]一种基于端到端的ID+SF模型的用户对话需求提取方法及系统

说明书

本发明公开了一种端到端的ID+SF的模型及在用户对话需求提取中的应用。本发明主要针对自然语言处理领域中的文本关键信息提取和信息的格式化输出，提出了一种端到端的意图检测和槽填充的模型。不同于传统的槽填充中分为意图和槽填充两个部分，即使是最近的研究中也是在网络中将这个过程划分为两个子网络分别进行预测得到结果，本发明方法完全使用一个网络模型且该网络只有一个输出端，它有机的融合了意图识别和槽填充的两个过程，从根本上实现了模型的端到端的预测，而且该网络模型能够降低槽填充的难度，从而提升关键信息提取的效果。

技术领域

本发明涉及自然语言处理领域的槽填充模型的构建方法，具体涉及一种基于端到端的ID+SF模型的用户对话需求方法及系统。

背景技术

槽填充(slot filling)是NLP领域中是人机对话系统语言理解部分的一个重要任务。槽填充是指从用户对话中抽取与任务相关的关键信息,槽填充的性能对整个对话系统的质量有直接的影响。一直以来，槽填充技术得到了广泛的关注和研究，从早期采用模板方法到后来多采用统计序列标注模型。

近年来,深层神经网络模型也用于解决槽填充任务。开始人们将槽填充过程分为意图识别和槽填充两个步骤实现。后来，也出现了许多的混合模型方法，如Attention-Based RNN模型，Bi-LSTM+CRF模型，IDCNN+CRF模型，基于attention机制的bi-LSTM-CRF模型等。但是，当时的输入向量生成方式只能考虑一个方向的上下文语意信息，直到2018年10月Google发布了开源的迁移学习模型Bert，它在多项NLP任务中取得了较为突出的效果。另外，这些模型大多没有考虑到意图识别与槽填充之间的内在联系，就算是考虑的也是通过两个输出端进行预测，未能真正的实现端到端的预测。

发明内容

本发明的目的是提供一种基于端到端的ID+SF模型的用户对话需求方法及系统，它解决了上述的所有问题，能够有效的实现意图识别和槽填充的任务并提升精度。

本发明提出一种新的槽填充的数据标注方式，并构建一种完全基于端到端的槽填充的模型，解决当前槽填充中句向量生成不考虑句子上下文、意图识别和槽填充不考虑两者之间关系、意图识别与槽填充分开预测等问题，最终实现端到端的槽填充模型并得到更好的模型预测效果。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种基于端到端的ID+SF模型的用户对话需求提取方法，包括如下步骤：

第1步，获得对话数据集作为训练样本，并对数据集进行标注；在标注过程中，对于含有多个意图的句子分别拆分成含有单个意图的句子并标注；

第2步，对第1步中得到的训练样本采用基于迁移学习中文预训练模型BERT提取信息，获得句向量数据；

第3步，对第2步中得到的句向量数据采用Transformer模型处理，增加模型的深度；再通过全连接层处理后得到输出数据；

第4步，对第3步得到的输出数据进行两个方向的降维求平均值，得到两个矩阵；

第5步，对第4步中得到的两个矩阵分别进行意图识别和序列标注，得到最终的预测标签；

第6步，模型迭代并不断进行参数更新，直至达到收敛条件即停止；

第7步，向训练好的模型中输入待处理的对话数据，获得提取结果。

在一个实施方式中，所述的全连接层的输出格式是：

(out_{batch_size}，out_length，out_width)