[发明专利]一种融合多路注意力机制的智能对话系统

说明书

本发明涉及一种融合多路注意力机制的智能对话系统，包括依次连接的编码器模块、多路注意力模块、动态融合模块、外部知识模块和解码器模块；所述编码器模块，用于针对历史上下文进行多领域的编码；所述多路注意力模块，用于提取上下文单词之间的注意力关系；所述动态融合模块，用于融合编码器和注意力的编码结果；所述外部知识模块，用于辅助生成特定领域知识的句子内容；所述解码器模块，用于生成具体的句子内容。本发明能够通过对话的历史上下文信息，抽取不同领域细粒度和句子细粒度的编码信息，并利用记忆网络从外部知识库中抽取有用的外部知识信息，最终将二者信息融合生成具体的句子，提高对话智能化。

技术领域

本发明涉及任务型对话系统领域，具体涉及一种融合多路注意力机制的智能对话系统。

背景技术

人机交互技术的发展已经到了一定阶段，许多基于人机交互实现的产品和技术都已在许多领域广泛应用。

目前人机交互在多通道多媒体的自然用户界面方面的研究发展较为迅猛。不同于传统的图形界面，多通道指通过触觉、听觉、视觉等人类五感以及手势、表情、眼神等这些信息最大程度收集用户的反馈，用户不再依靠机械的设备，而是通过肢体语言，面部表情与计算机交流，交互更为直接和自然。由于研究的进展，近年来，语音合成识别，触摸识别等通过听觉，触觉交互的方式也趋向成熟并得到广泛应用。也有将多通道技术应用于教育领域，通过自然用户界面提高学生沉浸感，并解决部分残疾学生的学习困难问题。但还面临着技术成本高，实现困难等问题。

虚拟现实和增强现实上的应用也是人机交互研究的热门。利用计算机分析改变人类的五感尤其是视觉和听觉，其在许多领域都有广泛应用。比如在工业领域将增强现实技术引入工业自动软件上，通过在理想位置投射相关信息，提高检测设备或流程的效率。但支持多人的交互方式还有待发展。

随着深度学习的进步，近年来人机对话领域的研究得到飞速发展，产生了许多智能语音系统和产品，尤其在封闭域任务型对话中较为明显，已经能够支持多轮对话。目前有应用于封闭域的方法是将计算机的对话循环生成，即自然语言理解，对话策略学习，自然语言生成，然后等待下一次输入，并将该输入联系上下文进行回答。广泛使用来解析用户发送信息的模型如seq2seq，并且结合注意力机制，在结合上下文方面得到了更好的效果。在深度学习，强化学习的发展下，产生了基于端到端的封闭域对话系统，其扩充了原始模型的状态空间，并帮助生成特定语料库之外的文本，具有很好的延展性。回答用户的对话通常需要外部数据库的支持，即需要从已建立的数据库中查询能作为机器回答的知识。利用知识图谱作为外部数据库的方式也被越来越多学者研究利用，引入知识图谱对提高对话系统性能，但是有效地将知识图谱和对话系统相结合的方法还需进一步发展。

开放域聊天性质的人机对话也有了显著提高，通过向量描述用户意图并结合上下文的方式使得计算机能更准确地理解用户，并产生较为自然的回复语句，使得交流更为顺畅。但是目前人机对话的稳定性在长期对话时会有所下降，其回复的语句会自相矛盾，缺乏上下文联系，进一步提高对话中上下文的联系，增强稳定性是目前的对话系统研究方向之一。而开放域的对话用户都带有一定的情感因素，不少文献都有依据人的认知，个性等心理学知识在计算机上加入情感建模，如通过大五人格理论，PAD情感空间等赋予模型情感个性特征。但目前计算机对话模型的情感相对单一不够丰富，无法被广泛使用，如何提高计算机模型的情感深度，使其对话带有理想的情感因素是开放域对话存在的问题之一。

发明内容

有鉴于此，本发明的目的在于提供一种融合多路注意力机制的智能对话系统，能够通过对话的历史上下文信息，抽取不同领域细粒度和句子细粒度的编码信息，并利用记忆网络从外部知识库中抽取有用的外部知识信息，最终将二者信息融合生成具体的句子。

为实现上述目的，本发明采用如下技术方案：

一种融合多路注意力机制的智能对话系统，包括依次连接的编码器模块、多路注意力模块、动态融合模块、外部知识模块和解码器模块；

所述编码器模块，用于针对历史上下文进行多领域的编码；