[发明专利]一种由粗到细的显示记忆网络口语理解模型

说明书

本发明公开了一种由粗到细的显示记忆网络口语理解模型，由编码模块、显示记忆模块、推理决策模块、隐含意图预测模块组成，使用BERT将输入的用户问题、对话场景和对话历史的意图和槽串联编码为上下文化表示；Explict Memory模块依次读取用户问题、对话场景、历史对话，预测每句话中未具体表达到的意图和槽之间的语义关系的隐藏状态(未明显提到的状态)，并对句子的隐含状态进行更新；并采用从粗到细的推理策略澄清意图和槽之间的隐含关系，对推理出的隐含关系进行显示预测决策，同时，通过我们的模型在隐含推理过程中提供可解释性，从而解决了现有的方法由于难以提取问题中隐含关系对其进行推理的问题，通过实验证明了该模型在口语理解任务中的有效性和通用性。

技术领域

本发明属于人机对话技术领域，涉及一种由粗到细的显示记忆网络口语理解模型。

背景技术

近年来，微软研发Facebook、luis.ai，三星和谷歌分别收购了相关研究人机对话的viv.ai、wit.ai等企业，百度自主研发了UNIT以及收购kitt.ai，这些现象都显示了人机智能语音对话技术将在各大企业着力发展，同时，口语理解在智能语音对话中起到了至关重要的作用，在任务型人机智能语音对话系统应用程序中，如语音助手Alexa、Siri、Cortana，这些智能语音应用程序都是通过完成口语理解模块中的意图识别和槽位填充两个任务，来自动识别用户提出的意图，并提取出语义信息，形成句子语义框架表示，最后采取相应动作以完成用户目标。

意图检测可以看作是一个分类任务，通过分类进行预测意图标签，槽位填充可以看作是一个序列标注任务，对槽标签进行标注，通常，意图识别和槽位填充作为两个独立的任务，但是事实上这两个任务是相关的，并且有着相互促进的作用，例如，当单词playlist被认为是一种音乐收藏列表类型的槽时，这个单词更有可能匹配Add To Playlist的意图，因此，意图检测任务和槽位填充任务都是可以互相促进的，由于深度学习得到了突飞猛进的发展，由于其可以自动学习文本特征输入，泛化能力也相对较强，并且在训练过程中能够获取到更深层次的语义表示，通过这些优势，越来越多的研究者利用深度神经网络方法来探索意图检测和槽位填充等相关领域，例如基于递归神经网络(RNN)的方法，特别是门控递归单元(GRU)和长短期记忆(LSTM)模型更是取得了不错的效果，并有许多研究者提出了利用深度神经网络方法对意图识别和槽位填充的进行联合建模，以挖掘出两个任务之间的关联程度，相比于目前的独立建模性能有所提升，先前的研究表明，引入注意力机制有助于递归神经网络处理一个长期依赖的状态，因此，有研究者提出了基于注意力递归神经网络的联合建模方法，并对意图检测和插槽填充联合建模取得了当时最先进的性能，一般来说，这些联合模型对单词进行卷积或顺序编码，然后将隐藏的状态聚合到话语级表示中进行意图预测，而不需要槽标签和意图之间的交互。

现有方法存在两个主要缺点，首先，关于对话中提出问题的意图和槽之间隐含关系的推理，现有的方法不能显式地跟踪对话中用户提出的问题中意图和槽的隐藏状态，对其隐含关系进行有效推理，以便做出更好的决策；其次，在隐含关系中进行预测决策，目前的方法很难提取出最相关的问题条件来进行隐含意图预测。

发明内容

由于背景技术不足，本发明所要解决的问题是提供一种更为通用有效的口语理解模型使得模型对口语的理解结果更为准确高效。

为此，本发明采用如下技术方案来实现的：

一种由粗到细的显示记忆网络口语理解模型，由编码模块、显示记忆模块、推理决策模块、隐含意图预测模块组成。