[发明专利]口语语义理解方法及系统

说明书

本发明实施例提供一种口语语义理解方法。该方法包括：对词混淆网络以及上一轮对话的系统行为进行序列化，拼接成一个输入序列；对输入序列进行分词得到子词级别的序列，确定各分词的词嵌入、位置嵌入、片段嵌入，作为基于transformer的双向编码表示模型的输入；基于transformer的双向编码表示模型输出子词级别的特征向量；通过语句表示模块将子词级别的特征向量逐步聚合为语句级别的特征向量；基于语句级别的特征向量，确定为本轮口语对话的系统行为。本发明实施例还提供一种口语语义理解系统。本发明实施例利用词混淆网络的后验概率信息，通过引入上一轮的系统行为来编码对话的上下文信息，提升模型编码不确定性的能力，表现出良好的泛化性能。

技术领域

本发明涉及语义理解领域，尤其涉及一种口语语义理解方法及系统。

背景技术

口语理解是将自动语音识别产生的输出转化为结构化的语义表示的一种技术，因而对于语音识别错误非常敏感。传统的口语理解系统采用语音识别的最佳假设文本作为输入。为了提升系统对语音识别错误的鲁棒性，包含更多信息的语音识别输出也被用来作为口语理解的输入，比如N-最佳假设列表、词格和词混淆网络(Word confusion network,WCN)。相较于词格，词混淆网络结构更为紧凑，计算更为高效。通常进行口语理解会使用：1、LSTM(Long Short-Term Memory Network，长短时记忆网络)对词混淆网络的建模方法；2、GPT(Generative Pre-Training，生成式预训练)对词格的建模方法。

词混淆网络可以看做一个分段(bin)序列，每个分段都包含该时间步内所有候选词以及对应的后验概率，将每个分段中的词嵌入向量进行加权，得到分段(bin)级别的词嵌入表示，再输入到LSTM中进行编码。

词格是一种有向无环图，利用单向预训练语言模型GPT对词格进行编码。GPT的本质是完全基于注意力机制的Transformer结构，通过引入可达性掩码来表示词格的节点之间的位置关系。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

使用LSTM编码词混淆网络的技术中，对每个分段的所有候选词嵌入借助词的后验概率进行简单加权而得到一种分段(bin)级别特征表示，这种特征表示是局部的，即没有考虑各分段之间的交互。此外，由于LSTM并行能力差，模型训练和推理速度较慢，导致其在大规模深层神经网络中的应用受到限制。

由于词混淆网络包含大量的不确定性信息，在非常嘈杂的环境中，仅以语音识别的不确定性假设作为语义理解输入依然不足以得出正确的结果。

使用GPT对词格的建模方法中，建模对象为词格，而词混淆网络相比于词格在空间和时间效率上都有一定的优势。另外GPT是一种单向语言模型，编码过程不考虑未来信息，其编码能力略有不足。

发明内容

为了至少解决现有技术中没有考虑到上下文信息、速度较慢、口语理解效果差的问题。

第一方面，本发明实施例提供一种口语语义理解方法，包括：

对词混淆网络以及上一轮对话的系统行为进行序列化，拼接成一个输入序列，其中，所述词混淆网络包括：本轮对话的候选单词以及所述候选单词的后验概率，所述系统行为包括：结构化的行为-槽-值的三元组；

对所述输入序列进行分词，确定各分词的词嵌入、位置嵌入、片段嵌入，作为基于transformer的双向编码表示模型的输入；

基于所述词混淆网络中所述候选单词的后验概率对所述基于transformer的双向编码表示模型内的自注意力权重进行修改，所述基于transformer的双向编码表示模型输出子词级别的特征向量；

通过语句表示模块将所述子词级别的特征向量逐步聚合为语句级别的特征向量；