[发明专利]一种基于bert+bilstm+crf并融合句型分析的查询意图识别方法

权利要求书

1.一种基于bert+bilstm+crf并融合句型分析的查询意图识别方法，其特征在于，所述方法包括：

A标注构建数据集，定义领域意图，明确意图分类、意图词槽，构建词槽对应的领域术语集，收集问题集，标注问题意图分类和词槽信息；

B根据标注的问题和对应的意图信息，生成句型模式，用于意图识别模型推理阶段的匹配验证；

C基于bert+bilstm+crf构建查询意图识别模型。

2.如权利要求1所述的基于bert+bilstm+crf并融合句型分析的查询意图识别方法，其特征在于，所述步骤A种数据构建的标注包括两种：

第一种标注形式，对数据直接标注其意图类别和词槽；第二种标注形式，把词槽标签作为一种槽位值的通用表示，替换槽位值后形成的标注。

3.如权利要求1所述的基于bert+bilstm+crf并融合句型分析的查询意图识别方法，其特征在于，所述步骤B种模型推理阶段的匹配验证使用两种句型模式，第一种是槽位意图模式，即将标注数据只保留其槽位标签和意图分类标签形成的矩形模式；第二种模式依赖于依存句法分析，在句法分析结果基础上选择性的保留句子成分，组成句法模式。

4.如权利要求1所述的基于bert+bilstm+crf并融合句型分析的查询意图识别方法，其特征在于，所述步骤C中意图识别模型由意图分类和槽位填充组成；其中，意图分类是对语义表达的分类任务，通过bert预训练模型实现，编码端为预训练bert，将编码特征输出接入softmax层，预测输入的类别概率；所述槽位填充是序列标注任务，使用bert模型把语料样本embedding，然后输入bilstm+crf的网络训练模型，使用条件随机场CRF机制，用以约束输出序列。

5.如权利要求1所述的基于bert+bilstm+crf并融合句型分析的查询意图识别方法，其特征在于，所述方法还包括意图识别模型的推理以及对模型的预测；所述意图识别模型的推理包括：按类训练数据形式预测意图，第一类训练数据形式预测意图，问题不做任何处理，直接输入模型，预测槽位值的起始结束位置、词槽名称和问句意图分类。

6.如权利要求5所述的基于bert+bilstm+crf并融合句型分析的查询意图识别方法，其特征在于，假设预测阶段输入的问句中包含模型中从未见过的槽位值，模型可给出正确的识别结果，且模型给出的结果中包含槽位值，并判定这个槽位值的类型，然后将原始问句在槽位值类型词典中做匹配；如果不能匹配，则槽位识别错误或者这个槽位值没有收录在词典中，模型的识别结果不能采信；如果匹配到了槽位值，但词典匹配的结果出现多个不同的解释，则转入第二类训练数据的方式；如果词典匹配只给出了单一解释，则将模型的识别结果转换为第一类句型模式，并将句型模式在有训练数据获取到的第一类句型模式中做匹配，如果模式存在，则选择相信模型的识别结果，将识别结果返回，如果不能匹配，不能信任模型的识别结果；则通过第二类句型模式进行匹配即第二类训练数据的方式。

7.如权利要求6所述的基于bert+bilstm+crf并融合句型分析的查询意图识别方法，其特征在于，第二类训练数据的方式是将问题中的槽位值替换为词槽名称，将调整后的问句输入模型，如果模型没有将槽位值正确识别为它的真实槽位值类型或者没有正确的识别调整后的问句的意图，则丢弃模型识别结果；如果对调整后的问句的各方面识别都正确，也不能直接相信识别结果，因为问句被调整过，模型识别结果必须经过更严格的句型模式的验证才能被采信，因此通过第二类句型模式处理的方式对原始输入做句法分析，形成第二类句型模式，并选择模型识别结果。