[发明专利]一种意图槽值双向交互的自然语言理解方法

权利要求书

1.一种意图槽值双向交互的自然语言理解方法，其特征在于，所述意图槽值双向交互的自然语言理解方法，包括：

采用BERT语义编码模块对用户输入的话语进行文本预处理，并进行语义编码，获得语义表示向量H，所述语义表示向量H包括意图语义表示向量H^I和槽语义表示向量H^S；

将意图表示向量H^I输入到意图注意力模块，生成语义增强的意图表示向量H^IW；

通过自注意语义交互模块，双向交互语义增强的意图语义表示向量H^IW和槽语义表示向量H^S，获得最终的意图语义表示向量和槽语义表示向量；

将最终的意图表示向量和槽语义表示向量输入到CRF语义解码模块，获得最后话语的意图和槽值，所述CRF语义解码模块包括两个分支，一个分支包括意图全连接神经网络模块，另一个分支包括槽全连接神经网络模块和CRF槽解码模块；

其中，所述将意图表示向量H^I输入到意图注意力模块，生成语义增强的意图表示向量H^IW，包括：

获取CRF语义解码模块中意图全连接神经网络的权重W^I，与意图语义表示向量H^I进行矩阵相乘，再经过softmax函数，获得softmax的输出α：

α＝softmax(H^IW^I)；

然后将α与权重W^I相乘再与意图语义表示向量H^I相加，获得经过意图注意力模块语义增强的意图语义表示向量H^IW：

H^IW＝H^I+αW^I；

所述通过自注意语义交互模块，双向交互语义增强的意图语义表示向量H^IW和槽语义表示向量H^S，获得最终的意图语义表示向量和槽语义表示向量，包括：

连接语义增强的意图语义表示向量H^IW和槽意图语义表示向量H^S，获取语义表示向量H^IS：

H^IS＝[H^IW，H^S]；

将H^IS经过h次线性映射获取Q、K和V矩阵。

Q_j＝H^ISW_j^Q；

K_j＝H^ISW_j^K；

V_j＝H^ISW_j^V；

其中W_j^Q、W_j^K和W_j^V是线性映射的参数，j∈1...h；

将获得的Q、K和V矩阵平行地进行缩放点乘注意力操作，获得自注意力头：

其中d表示语义表示向量H^IS的维度；

将获得的h个自注意力头进行连接，并经过一个线性映射，获得经过多头自注意力模块语义增强的语义向量H^M：

H^M＝concat(h₁，h₂，…，h_h)W^O；

其中W^O是本次线性映射的参数；

将语义向量H^M与BERT语义编码模块输出的语义表示向量H相加，并进行层归一化(layernormalization)操作：

H′＝LayerNorm(H+H^M)；

其中语义向量为自注意语义交互模块的输出，表示最终的意图语义表示向量，表示最终的槽语义表示向量。