[发明专利]一种基于上下文注意流的对话意图识别系统及方法

说明书

本发明提供一种基于上下文注意流的对话意图识别系统及方法，包括输入编码模块、自相关系数分析模块、前馈神经网络和多任务学习模块；输入编码模块用于将包含若干个单词的输入语句进行编码处理，得到对应的表征向量；自相关系数分析模块用于将当前语句的表征向量与各个历史对话语句的表征向量进行拼接后进行计算，得到融合了问题信息的上文语句表示向量；然后根据所述上文语句表示向量进行特征融合，得到融合了对话上下文信息的上下文句子表示向量；最后根据当前语句的表征向量和所述上下文句子表示向量进行点积运算，获得用于意图识别的特征向量；多任务学习模块用于根据系统的总损失函数对特征向量进行优化，提高了对话意图识别的效率和准确率。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种基于上下文注意流的对话意图识别系统及方法。

背景技术

对话机器人地核心功能模块是意图识别。机器人首先需要根据用户发来的对话语句预测其对应的意图，然后基于意图给用户发送对应的答案，从而完成在线自动应答。对话是一个多轮问答的过程，但是目前在线机器人识别意图时，只考虑单句话的内容，而很多对话中的意图并无法通过单句话的内容进行识别。因此，线上机器人有相当多的语句的意图是无法基于单句而准确识别的，从而导致机器人的问答响应失败。

为了解决多轮对话问答中的意图识别问题，目前工业界和学术界主要采用两类方法：

基于记忆网络的方法——记忆网络一般包括输入编码模块、记忆模块和输出预测模块。这类方法一般维护一个记忆槽位空间（记忆模块），存储对话上文历史语句，然后应用注意力机制，动态地不断更新网络地记忆状态，并基于记忆状态生成一个特征向量，基于此预测对话的意图。

基于阅读理解技术的方法——阅读理解模型一般采用一个编码器，对输入的文章和问题做编码，通过文章内容和问题内容的互注意力、自注意力等技术，获得文章的单词粒度的表示，构造两个开始和结束位置预测头，预测每个单词作为问题答案开始位置的概率（P(start)）和结束位置的概率（P(end)），最后选取“P(start)*P(end)”概率最大的一组短语构成问题答案。

虽然基于阅读理解的技术处理多轮对话上文依赖的问题时可以准确定位这些历史语句，但是阅读理解所需的主题文章在业界难以获取，此外获取到相关的历史语句后，还需要构造模型进一步融合这些语句信息和当前语句信息，进而预测对话意图。基于记忆网络的模型，无法直接选择相关历史对话语句作为对话的上文依赖信息，导致模型难以准确融合对话上文信息到当前语句中。此外，还可能每次重复地选择其中某些语句的编码特征，导致模型无法充分关注到其他相关特征，影响模型建模多轮对话的能力。

因此，需要提供一种方案以便于提高对话意图识别的效率和准确率，增强机器人的应答能力。

发明内容

本发明的目的在于提供一种基于上下文注意流的对话意图识别系统及方法，用以实现提高对话意图识别的效率和准确率的技术效果。

第一方面，本发明提供了一种基于上下文注意流的对话意图识别系统，包括：输入编码模块、自相关系数分析模块、前馈神经网络和多任务学习模块；

所述输入编码模块用于将包含若干个单词的输入语句进行编码处理，得到对应的表征向量；所述输入语句包括对话样本集中已知对话意图和对话类型的若干个历史对话语句和当前语句；

所述自相关系数分析模块用于将当前语句的表征向量与各个历史对话语句的表征向量进行拼接后进行计算，得到融合了问题信息的上文语句表示向量；然后根据所述上文语句表示向量进行特征融合，得到融合了对话上下文信息的上下文句子表示向量；最后根据当前语句的表征向量和所述上下文句子表示向量进行点积运算，获得用于意图识别的特征向量；

所述前馈神经网络用于对所述特征向量进行处理后输入所述多任务学习模块；