[发明专利]一种层次注意力LSTM和知识图谱的多轮对话管理方法

说明书

一种层次注意力LSTM和知识图谱的多轮对话管理方法，属于自然语言处理领域。本方法的核心思想为：将会话中用户和系统的对话内容作为上下文，利用上下文在单词和句子层面的重要、时序信息抽取上下文深层语义，具体分两步，首先在单词层面利用第一层注意力机制LSTM抽取句子语义，其次在句子层面利用第二层注意力机制LSTM抽取上下文语义；其中，注意力机制保留重要信息，且注意力机制通过知识图谱作为外部知识来实现，LSTM保留时序信息，这些信息共同识别用户意图，识别结果用来判定是否开启下一个会话。本发明利用知识图谱和LSTM学习了上下文深层语义、利用注意力机制过滤掉无用信息，从而提高了识别用户意图的效率和准确率。

技术领域

本发明涉及一种层次注意力LSTM和知识图谱的多轮对话管理方法，属于自然语言处理领域。

背景技术

随着计算技术与人工智能技术的发展，对话管理系统得到了越来越广泛的研究，尤其是面向特定任务的对话管理系统，可以用于机票预订等客户服务中，帮助企业有效地降低运营成本，具有重要的应用价值。根据对话系统智能化程度的不同，智能对话系统的会话表现形式可简单分为单轮对话和多轮对话两种。单轮对话较简单，没有记忆功能，而多轮对话问题和回答之间是有联系的，意图识别是多轮对话管理系统的关键子任务，只有深入理解用户的意图才能判断是否该轮对话已经完成。

早期对话系统基本是基于规则的，可以和用户进行简单的对话。然而基于规则的方法过于依赖根据经验设置的有限模型参数或是一些人工设置的模板，虽然简单有效，但是只能应用在用户提问具有明显的词汇且无指代的场景中，因此这种方法离复杂场景下的实用化还有很大差距。

在大数据时代背景下，多轮对话管理系统取得了重大的突破，大量的对话数据可以从实际的场景中获得，随着深度神经网络在越来越多的基于大量数据来进行训练的任务中取得显著的成果，基于深度学习的方法成为多轮对话管理系统研究的主流。但是目前基于深度学习的方法也存在一些问题，主要表现在两方面，一方面是没有将多轮对话中的上下文利用起来，在同一轮对话中，用户的提问，系统的回答和当前用户的问题都有一定的联系；另一方面没有结合外部知识，只是数据驱动的方法，在准确率上存在一定的差距。

随着人工智能对数据处理和理解需求逐日增加，知识图谱得到了越来越广泛的研究，简单来说知识图谱就是描述概念、实体、事件及其之间的关系的一种结构，用“属性-值“来刻画它的内在特性，比如说人有年龄、身高、体重等属性。因此这样一个知识库放入到多轮对话管理系统中，提高了用户意图判断的正确率。

本发明方法将会话中的用户和系统对话通过层次注意力机制的LSTM进行深层语义提取，并联合知识图谱将用户意图和对话语义进行有机的结合，从而高效的识别当前问题的用户意图，完成多轮对话管理系统中的关键任务。

发明内容

本发明的目的是为了解决现有多轮对话管理方法存在用户意图判断中缺少上下文信息和外部知识的技术缺陷，提出了一种层次注意力LSTM和知识图谱的多轮对话管理方法。

本方法的核心思想为：将会话中用户和系统的对话内容作为上下文，利用上下文在单词和句子层面的重要、时序信息抽取上下文深层语义，具体分两步，首先在单词层面利用第一层注意力机制LSTM抽取句子语义，其次在句子层面利用第二层注意力机制LSTM抽取上下文语义；其中，注意力机制保留重要信息，且注意力机制通过知识图谱作为外部知识来实现，LSTM保留时序信息，这些信息共同识别用户意图，识别结果用来判定是否开启下一个会话。本发明利用知识图谱和LSTM学习了上下文深层语义、利用注意力机制过滤掉无用信息，从而提高了识别用户意图的效率和准确率。为实现上述目的，本发明采用如下技术方案：

首先进行相关定义，具体如下：

定义1：query，是指用户会向系统提出的一些问题，每一个query都会对应一个用户意图，query又分为两类：first query和非first query；