[发明专利]一种基于bert+bilstm+crf并融合句型分析的查询意图识别方法

说明书

本发明公开了一种基于bert+bilstm+crf并融合句型分析的查询意图识别方法，包括：标注构建数据集，定义领域意图，明确意图分类、意图词槽，构建词槽对应的领域术语集，收集问题集，标注问题意图分类和词槽信息；根据标注的问题和对应的意图信息，生成句型模式，用于意图识别模型推理阶段的匹配验证；基于bert+bilstm+crf构建查询意图识别模型。本发明融合槽位词典匹配，句型模式分析，基于bert+bilstm+crf的槽位实体识别，基于bert的意图分类，较好的解决了模型训练数据与模型预测数据分布不一致时，模型错误识别的问题，提高了模型对用户输入口语化内容意图识别的精确性。

技术领域

本发明涉及自然语言处理、人工智能技术领域，尤其涉及一种基于bert+bilstm+crf并融合句型分析的查询意图识别方法。

背景技术

现有所谓意图识别实际就是自然语言理解(NLU)，是自然语言处理重要任务之一。自然语言理解就是希望机器像人一样，具备正常人的语言理解能力，通过意图的准确识别，明确用户需求，从而提供给用户精准服务。

随着深度学习的发展，以CNN、RNN、LSTM、注意力机制等深度学习算法为基础的神经网络模型开始广泛应用于文本分类、意图识别领域中，不断取得SOTA效果。基于深度学习的意图识别模型意图识别率高，但识别结果却有不可解释性，并且模型识别率严重依赖训练数据的质量。由于自然语言的复杂和多样性，训练模型所使用的训练数据往往存在偏倚，与实际输入数据分布不一致，这对模型的泛化能力提出了极大的考验。在实际使用模型的过程中，由于训练数据稀疏，必然存在大量模型从未见过的输入。这时如何评价模型识别结果，能否发现模型的识别错误，甚至对识别结果做出适当的修正，就显得十分重要。当输入问句中的实体或句型结构，训练数据中从来没有出现过，模型可能会给出错误的识别结果。

综上，在实际工程应用中，迫切需要一种意图识别可靠、识别错误可干预修正的增强型意图识别方法。

发明内容

为解决上述技术问题，本发明的目的是提供一种基于bert+bilstm+crf并融合句型分析的查询意图识别方法，该方法综合多种策略以实现对单一神经网络意图识别结果的正确性判断、错误结果适度纠正、神经网络识别结果增强的目的，以达到精确语义识别，满足多样化查询意图的识别。

本发明的目的通过以下的技术方案来实现：

一种基于bert+bilstm+crf并融合句型分析的查询意图识别方法，包括以下步骤：

A标注构建数据集，定义领域意图，明确意图分类、意图词槽，构建词槽对应的领域术语集，收集问题集，标注问题意图分类和词槽信息；

B根据标注的问题和对应的意图信息，生成句型模式，用于意图识别模型推理阶段的匹配验证；

C基于bert+bilstm+crf构建查询意图识别模型。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

融合槽位词典匹配，句型模式分析，基于bert+bilstm+crf的槽位实体识别，基于bert的意图分类，较好的解决了模型训练数据与模型预测数据分布不一致时，模型错误识别的问题，提高了模型对用户输入口语化内容意图识别的精确性。融合传统方法和深度学习算法的意图识别方法，二者结果相互验证，可以使精确性问题识别率更高，开放性问题识别更加贴近用户需求。

附图说明

图1是本发明实施例提供的构建基于bert+bilstm+crf的查询意图识别模型流程图；

图2是本发明实施例提供的基于bert+bilstm+crf并融合句型分析的查询意图识别方法的全流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。