[发明专利]意图识别方法及系统

说明书

本发明实施例提供一种意图识别方法。该方法包括：提取待识别语句的第一单词向量；将第一单词向量输入至双向长短时记忆网络，得到包含上下文信息的第二单词向量；将第二向量输入至图卷积神经网络，得到包含句法信息的第三单词向量；利用自注意力机制学习第三单词向量的注意力系数，得到包含权重信息的第四单词向量；通过领域词典与第四单词向量进行匹配，得到领域信息的第五单词向量；将第五单词向量与第四单词向量进行拼接，确定为待识别语句的语义向量表示，基于语义向量表示确定待识别语句的意图。本发明实施例还提供一种意图识别系统。本发明实施例将句法信息和领域词典作为特征补充句子的语义表示，进而提高意图识别模型的性能。

技术领域

本发明涉及智能语音领域，尤其涉及一种意图识别方法及系统。

背景技术

语义理解是自然语言处理的重要方向，确定出语句对应的意图。

基于人工规则的意图识别方法：从句式结构出发，根据不同的领域信息和句式表达，人工编写通用的规则。当输入新的数据时，与规则集合进行匹配，按照规则权重对匹配上的规则排序，输出权重高的规则对应的意图；

基于机器学习的意图识别方法：意图识别是一种特殊的文本分类问题。机器学习方法不同于人工规则，它将数据集用来训练机器学习模型，通过训练的模型，学习数据集的分布情况，并用训练好的模型预测新数据对应的意图类别。常用的机器学习分类模型有贝叶斯网络、支持向量机等；

基于深度学习的意图识别方法：深度学习也是一种机器学习，区别于机器学习，深度学习模型具有更加复杂的结构，并且不需要繁琐的特征工程，单词本身即具有语义含义。深度学习的方法同样是根据数据集训练一个更加复杂的模型，并以此来预测新数据的意图。常用作分类的深度学习模型有循环神经网络(Recurrent Neural Network,RNN)、卷积神经网络(Convolutional Neural Networks,CNN)等。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

基于人工规则的意图识别方法：手工编写的规则可移植性低，不同领域需要开发不同的意图，即便是相同领域的同一个意图，也可能存在意图定义不一致的情况；编写的规则来自收集的意图说法，严格的规则保证了高精确率，而较低的召回率，宽松的规则容易提高了召回率，但是容易误召回；规则编写工作量大，并且数量大时维护困难。人工规则是通过编写一条条类似正则的语法，根据规则引擎编译后匹配新的数据。编写的规则都具有针对性，通常是为了匹配一个意图编写的，如“${寄快递动词}${快递物品}”是寄快递的规则，则不能用于查快递，因此规则的移植性不好；当规则写的更严格一点，如“我要寄快递”，这条规则只能匹配一种说法，因此它的精确率是1，但是召回率却很低，如果改写成“我要${寄快递动词}${快递物品}”，这样借助两个词典，支持了更多类似的说法，提高了召回率；当说法越来越多时，比如“寄快递”这个意图，可以说“我要寄快递”，也可以说“我想要邮寄一个包裹”，还可以说“快递邮寄”。由于这些说法的句式结构、关键词不一样，因此往往要编写不同的规则来覆盖对应的说法，因此说法越来越多，意图的规则也就越来越多，维护就越来越困难；

基于机器学习的意图识别方法：机器学习通常选取某些特征，训练模型，特征提取的步骤是必不可少的，因此模型性能的提升也依赖复杂的特征工程。机器学习是一种统计学习方法，根据数据的特征，而学习训练数据的分布，若特征工作不够充分，特征信息提取的少或者没有提取到关键信息，如“寄”，“快递”这几个关键词出现，有很大可能是寄快递。因此特征工程在机器学习里面显得很重要。

基于深度学习的意图识别方法：模型性能依赖数据集的大小，若训练小数据集，则模型表现不太好，因此对于一些缺少语料的POC(Proof of Concept，为观点提供证据)项目，训练不够充分，泛化能力低，很难用深度学习训练到一个性能很好的模型；很多深度学习模型只考虑模型结构的优化，忽略了领域信息或者其他信息，因此训练的模型更加像一个通用模型，区别在于不同的训练数据。

发明内容