[发明专利]口语理解装置和使用该装置的口语理解方法

说明书

本发明涉及口语理解装置和使用该装置的口语理解方法。根据本发明实施例的口语理解装置可以包括：时隙标记模块，包括：语素分析单元，配置为分析关于所说语句的语素；时隙标记单元，配置为在根据所分析的语素生成的多个输入令牌中标记对应于语义实体的时隙，以及时隙名称转换单元，配置为基于相邻的语境信息将对应于所标记的时隙的短语转换为去词汇化的时隙名称；语言生成模块，配置为通过基于多个输入令牌组合去词汇化的时隙名称来生成组合序列。

技术领域

本发明一般地涉及口语理解装置，更具体地，涉及用于同时学习时隙标记(slottagging)和语言生成的口语理解装置以及使用该装置的口语理解方法。

背景技术

随着最近对话系统服务的出现，例如的的Google的智能秘书和对话导航系统，用于理解口语的技术变得越来越重要。为了创建对话系统，对话管理器需要通过口语理解(SLU)理解口语对话的意图，以及管理相应的内容。

SLU指的是分析语音识别的话语以根据语义结构提取时隙，在许多自然语言处理或对话系统中起重要作用。然而，一般的口语理解装置具有以下问题。

首先，当仅学习时隙标记时，未登录(OOV)处理受到限制。

图1是示出仅学习时隙标记的常规模型100的图。

如图1所示，该模型仅使用序列到序列注意模型(attention model)来学习时隙标签。序列到序列注意模型试图通过编码器110和解码器120生成将对应于输入数据的源序列转换成对应于输出数据的目标序列的概率模型。编码器110输入输入令牌111(x1到x4)构成到神经网络112的源序列以输出隐藏状态113(h1到h4)，并且解码器120将隐藏状态113和注意121(c1到c4)输入到神经网络122以输出包括输出令牌123的目标序列(y1到y4)，从而预测时隙标签。然而，仅学习了时隙标记的上述模型仅学习关于每个词(word)(例如，输入令牌)的时隙标签(例如，输出令牌)，因此即使序列的模式相同，当输入OOV时也不能执行准确的时隙标记。

第二，当同时学习时隙标记和语言模型时，由于语言模型引起的噪声，时隙标记的性能恶化。

图2是示出同时学习时隙标记和语言模型的常规模型200的图。

如图2所示，当同时学习语言模型210和时隙标记220时，不充分的学习数据可能妨碍学习，因为词汇量的大小w_t大于时隙标签的大小s_t。另外，需要用户意图的操作(例如，时隙标记)通常具有不足以学习语言模型的数据规模，因此语言模型的操作可能恶化。

因此，需要这样一种具有鲁棒性的口语理解模型，其能够提高处理OOV词的性能并增强时隙标签提取性能。

发明内容

这里公开的实施例的目的是提供一种口语理解装置和口语理解方法，该方法使用该装置，对于输入语句根据去词汇化的时隙名称和/或语句的输出学习关于相同模式中的语句的语境，并改善OOV词的时隙标记性能。

本领域技术人员将理解，可以通过本发明实现的目的不限于上文和上文具体描述的内容，并且本发明可以实现的其他目的将更多从以下详细描述中清楚地理解。

根据本发明实施例，口语理解装置可以包括：时隙标记模块，包括：语素分析单元，配置为分析关于所说语句的语素；时隙标记单元，配置为在根据所分析的语素生成的多个输入令牌中标记对应于语义实体的时隙；以及时隙名称转换单元，配置为基于相邻的语境信息将与所标记的时隙对应的短语转换为去词汇化(delexicalized)的时隙名称；和语言生成模块，配置为通过基于多个输入令牌组合去词汇化的时隙名称来生成组合序列。