[发明专利]一种意图槽值双向交互的自然语言理解方法

说明书

本发明公开了一种意图槽值双向交互的自然语言理解方法，采用BERT语义编码模块对用户输入的话语进行文本预处理，并进行语义编码，然后将意图表示向量输入到意图注意力模块，生成语义增强的意图表示向量，并通过自注意语义交互模块，双向交互语义增强的意图语义表示向量和槽语义表示向量，获得最终的意图语义表示向量和槽语义表示向量，然后将最终的意图表示向量和槽语义表示向量输入到CRF语义解码模块，获得最后话语的意图和槽值。本发明使用预训练知识显著提高意图识别和槽填充的识别效果，使得系统可以应用在高精度的NLU场景上，提高了系统的预测精度。

技术领域

本申请属于任务型对话系统技术领域，具体涉及一种意图槽值双向交互的自然语言理解方法。

背景技术

随着客服代理、虚拟语音助手、语音导航等对话系统在人们的日常生活中使用得越来越广泛，提升对话系统的性能和效率变得至关重要。对话系统的核心功能是理解用户话语的意图，记录其中的关键信息，并给与用户恰当的回应。对话系统的框架大致可分为五个部分：语音识别(ASR)、自然语言理解(NLU)、对话管理(MD)、对话生成(NLG)、语音合成(TTS)。

由于自然语言的复杂性，NLU任务一直是影响对话系统准确性的关键环节，而意图识别(Intent Detection)和槽填充(Slot Filling)是NLU当中两个主要任务，其中意图识别指判断用户话语的意图，槽填充指从用户话语中提取语义概念。如话语“在一小时内找到《风声》”，则这句话的意图即为“搜索电影”，“一小时”即为要提取的时间类别的槽，“风声”即为要提取的电影类别的槽。意图识别和槽填充的性能对于对话系统的准确性有决定性作用。因此在对话系统中，如何提升意图识别和槽填充的性能和效率变得至关重要。

虽然早期的发明往往将两个问题分开建模，但是两个任务之间有强关联性，并且两个任务在工业实践中往往需要同时进行，因此大量联合模型被发明出来，以获得更好的使用效果。联合模型相较于两个孤立的模型显著减少了模型参数和训练时间，并且往往可以利用两个任务之间的关联性来提升彼此的分类性能。因此仍有发明基于单个任务被提出，但联合模型已是对话系统中最主要的解决方案。

但现有技术方案往往没有考虑预训练知识的使用，无法满足高精度NLU场景的需求。

发明内容

本申请的目的是提供一种意图槽值双向交互的自然语言理解方法，考虑了意图识别和槽填充任务中的紧密关联性，且使用了预训练知识来提升两个任务的识别准确性，可应用到任务型对话系统的实际工业场景中。

为了实现上述目的，本发明提供的方案如下：

一种意图槽值双向交互的自然语言理解方法，包括：

采用BERT语义编码模块对用户输入的话语进行文本预处理，并进行语义编码，获得语义表示向量H，所述语义表示向量H包括意图语义表示向量H^I和槽语义表示向量H^S；

将意图表示向量H^I输入到意图注意力模块，生成语义增强的意图表示向量H^IW；

通过自注意语义交互模块，双向交互语义增强的意图语义表示向量H^IW和槽语义表示向量H^S，获得最终的意图语义表示向量和槽语义表示向量；

将最终的意图表示向量和槽语义表示向量输入到CRF语义解码模块，获得最后话语的意图和槽值，所述CRF语义解码模块包括两个分支，一个分支包括意图全连接神经网络模块，另一个分支包括槽全连接神经网络模块和CRF槽解码模块；

其中，所述将意图表示向量H^I输入到意图注意力模块，生成语义增强的意图表示向量H^IW，包括：