[发明专利]基于词属性注意力机制的关键短语识别方法

权利要求书

1.基于词属性注意力机制的关键短语识别方法，其特征在于所述方法包括如下步骤：

步骤1，利用词嵌入学习将输入文本的词和标签转化为向量。

步骤2，利用RNN编码器对单词序列和词性标签序列进行编码，获得单词序列和词性标签序列的隐藏状态，首先使用一个独立的前向RNN(GRU)组成的编码器对单词序列进行编码，然后使用另一个独立的前向RNN(GRU)组成的编码器对词性标签序列进行编码，最后得到单词序列和词性标签序列的隐藏状态；

步骤3，基于词属性注意力机制对单词序列进行权值分配，首先，通过计算解码器隐藏状态与单词序列隐藏状态之间的相关性获得单词序列隐藏状态的文本权重向量，然后，使用词性标签序列隐藏状态获得单词序列隐藏状态的词性权重向量，最后，使用单词序列隐藏状态的文本权重向量和词性权重向量动态计算每个输出词的上下文向量；

步骤4，RNN解码器通过解码上下文向量并逐字生成可变长度序列；

步骤5，通过beam search算法生成关键短语。

2.根据权利要求1所述的基于词属性注意力机制的关键短语识别方法，其特征在于：步骤2中使用两个独立的前向RNN(GRU)编码器分别对单词序列x＝(x₁,x₂,…,x_n)、词标签序列h＝(h₁,h₂,…,h_n)进行编码，以获得单词序列的隐藏状态和词性标签序列的隐藏状态

3.根据权利要求1所述的基于词属性注意力机制的关键短语识别方法，其特征在于：步骤3中使用α_ij＝softmax(v^Ttanh(W_hh_j+W_ss_i-1+b))计算解码器隐藏状态s_i-1和单词序列隐藏状态h_j之间的相关性，同时使用计算单词序列隐藏状态的词性权重向量β_j,其中，h_j为单词序列隐藏状态，为词性标签序列隐藏状态，v、v^p、W_h、W_s、b和b^p为待学习的参数。

4.根据权利要求1所述的基于词属性注意力机制的关键短语识别方法，其特征在于：步骤3中使用单词序列隐藏状态的文本权重向量α_ij和词性标签权重向量β_j动态计算每个输出词的上下文向量c_i，从而实现融合语言知识标签和注意力模型。上下文向量计算过程为：