[发明专利]一种面向任务型对话的多域请求式意图识别方法

说明书

本发明提供一种面向任务型对话的多域请求式意图识别方法，该方法通过将请求式意图识别任务建模为配对排序任务，使用简单的双编码器框架及基于多层级相似度的困难负样本挖掘策略，有效提升了该场景下的识别效率及准确率。实验结果表明，本发明提出的方法相较基线(Baseline)检索模型于DSTC9‑Track1测试集上，识别效率及可见域Top1/Top5准确率有较大提升。此外，该方法兼容基于语义空间的域自适应(Domain Adaption)技术，便于后续对小样本场景的扩展使用。

技术领域

本发明涉及对话意图识别和信息检索领域，更具体地，涉及一种面向任务型对话的多域请求式意图识别方法。

背景技术

对话意图识别又称对话状态跟踪，是任务型对话系统关键模块，旨在理解当前对话的用户意图从而辅助系统回复生成。在任务型对话中，对话状态通常定义为当前激活的用户意图槽值(Slot-Values)。用户意图插槽又可分为信息槽(Informable Slot)和请求槽(Requestable Slot)，信息槽用于记录用户要求的属性条件用于实体搜索，而请求槽记录了用户对指定实体的附加信息请求，用于调用API链接外部知识库(Knowledge Base，KB)。为在任务型对话中更高效地链接外部知识库，本发明更关注请求式意图，即(是否请求，请求域，请求实体)的三元组的识别任务。

此前对话意图识别的相关工作(Hung Le等)通常建模为多分类任务，不适用于资源受限(Low Resource)的场景。对此，Chien-Sheng Wu等提出基于指针网络(PointerNetwork)进行跨域的迁移学习(Transfer Learning)，但由于其没有利用特征空间的语义信息进行迁移，于小样本(Few-Shot)场景下的迁移学习能力仍有待提升。因而，如何学习有效的对话意图语义表征成为小样本迁移的关键。

度量学习(Metric learning)是一种高效的表征学习方法，其通过神经网络将输入样本对映射到特征空间，并利用三元组损失函数(Triplet Loss)或对比损失函数(Contrastive Loss)拉近特征空间中的相似样本并拉开相异样本，从而得到高可辨的样本表征。度量学习因高效、高可辨表征的学习能力，广泛用于人脸识别、行人重识别等计算机视觉及小样本学习领域(LukaszKaiser等)。在自然语言领域，DanielGillick等、VladimirKarpukhin等和TianchengZhao等的工作也分别将其用于实体链接(Entity Link，EL)、文档检索和对话生成等任务。

请求式意图识别中也涉及请求实体的检测，因而DanielGillick等将度量学习用于实体链接的工作与本发明的应用场景最为近似。实体链接是将文本中的提及(Mention)链接到知识库中的实体的自然语言理解技术，其通常分为候选实体生成——消歧(Candidate Entity Generation-Entity Disambiguation，CEG-ED)两阶段实现。DanielGillick等根据CEG需要人工构建的别名字典生成、易漏检实体的缺点，选择跳过CEG阶段，基于度量学习技术直接根据提及的上下文进行实体检索。

本发明受DanielGillick等的工作启发，将双编码器(Bi-Encoder)及在线困难负样本挖掘(Online Hard Negative Mining)的度量学习框架应用于多域请求式意图识别，在提升其性能的同时，该方法也兼容基于语义空间的域自适应(Domain Adaption)技术。需要指出DanielGillick等实体检索的工作与请求实体识别存在下述差异：一，自然语言理解程度不同，两者均需从存在共指(Coreference)的文本进行实体抽取，但实体链接的输出的是请求实体的子集，因而需要更强的上下文化编码器(Contextualized Encoder)提取文本特征；二，实体链接任务需要数据集预先提供提及块(Mention Span)标注或通过启发式方法提取，如别名字典模糊匹配(Chao-HongTan等)，且实体链接任务中存在较多难分辨的实体，需通过额外的实体描述进行实体消歧。

发明内容