[发明专利]一种获取目标意图识别模型的方法以及意图识别方法

说明书

本申请实施例提供一种获取意图识别模型的方法以及意图识别方法，该方法包括：获取原始训练文本集，其中，所述原始训练文本集包括与至少两种意图类型中各意图类型分别对应的训练数据，所述训练数据包括多条原始训练语句以及与各条原始训练语句分别对应的原始标注标签；根据所述原始训练文本集中的数据得到目标训练文本集，其中，所述目标训练文集中的各条目标训练语句是通过对一个原始标注标签进行遮盖处理后得到的；基于所述目标训练文本集中的数据对预训练掩码语言模型Bert进行微调，得到目标意图识别模型。本申请的实施例可以在小样本以及数据不平衡的情况下也能训练出泛化性能更好，更健壮的意图识别模型。

技术领域

本申请涉及自然语言处理技术领域，具体而言本申请实施例涉及一种获取目标意图识别模型的方法以及意图识别方法。

背景技术

以业务询问机器人为例示例性阐述会话机器人的对话流程，该对话过程包括：获取客人的问题Q，经过意图识别模块将该问题抽象化为客人的目标意图(intent)，再将目标意图传输给对应的交互模块获取与客人的问题最相关的回答语句，向客户提供该回答语句。不难理解的是，目前的会话机器人工作的核心是进行用户意图识别，因为只有明确了意图才能找到对应的交互模型并利用该交互模块给出针对性的回答。

现有的意图识别模块上运行的目标意图识别模型需要基于原始训练文本集中的数据进行训练才能具备意图识别的能力，而针对多功能(即多意图类型)的会话机器人会存在针对不同类型的意图所采集的训练数据不平衡的问题。例如，在原本只有常见问题解答FAQ(Frequently Asked Questions)功能的客服机器人里加入闲聊功能，由于FAQ和闲聊类别的样本数量相差巨大，即用于训练会话机器人识别闲聊功能所对应的训练数据的规模远远大于用于训练会话机器人识别FAQ功能所对应的训练数据的规模，从而导致训练出来的意图识别模型容易产生过拟合，预测更倾向于判断用户输入为闲聊意图，因此会把本应归为FAQ的意图也当作闲聊意图来处理，用户体验严重下降。

发明内容

本申请实施例的目的在于提供一种获取目标意图识别模型的方法以及意图识别方法，本申请的实施例可以在小样本以及训练数据不平衡的情况下也能训练出泛化性能更好，更健壮的意图识别模型。

第一方面，本申请的一些实施例提供一种获取目标意图识别模型的方法，所述方法包括：获取原始训练文本集，其中，所述原始训练文本集包括与至少两种意图类型中各意图类型分别对应的训练数据，所述训练数据包括多条原始训练语句以及与各条原始训练语句分别对应的原始标注标签，所述原始标注标签用于表征对应原始训练语句的真实意图；根据所述原始训练文本集中的数据得到目标训练文本集，其中，所述目标训练文集中的各条目标训练语句是通过对一个原始标注标签进行遮盖处理后得到的；基于所述目标训练文本集中的数据对预训练掩码语言模型Bert进行微调，得到目标意图识别模型。

本申请的一些实施例通过将具有遮盖部分的目标训练语句对预训练掩码语言模型进行微调，使得微调后得到的目标意图识别模块具有推断被遮挡的原始标注标签的功能，从而可以在小样本以及训练数据不平衡的情况下也能训练出泛化性能更好，更健壮的意图识别模型。

在一些实施例中，所述根据所述原始训练文本集中的数据得到目标训练文本集，包括：从所述原始训练文本集中提取与各种意图类型分别对应的所有的原始训练语句，并根据所述所有的原始训练语句得到所述目标训练文本集中的数据。

在一些实施例中，所述目标训练文本集包括第i目标训练语句以及与所述第i目标训练语句对应的目标标注标签，其中，所述根据所述原始训练文本集中的数据得到目标训练文本集，包括：从所述原始训练文本集中获取与所述第i目标训练语句的意图类型相同的第i原始训练语句并获取与所述第i原始训练语句对应的第j原始标注标签；获取提示模板，其中，所述提示模板包括提示部分以及待填入内容的空白部分，所述提示部分与在所述空白部分填入的内容构成语义完整的句子，所述语义完整是指所述句子包括主语、谓语和宾语；根据所述提示模板和所述第i原始训练语句得到所述第i目标训练语句以及所述目标标注标签。