[发明专利]一种层次注意力LSTM和知识图谱的多轮对话管理方法

摘要

一种层次注意力LSTM和知识图谱的多轮对话管理方法，属于自然语言处理领域。本方法的核心思想为：将会话中用户和系统的对话内容作为上下文，利用上下文在单词和句子层面的重要、时序信息抽取上下文深层语义，具体分两步，首先在单词层面利用第一层注意力机制LSTM抽取句子语义，其次在句子层面利用第二层注意力机制LSTM抽取上下文语义；其中，注意力机制保留重要信息，且注意力机制通过知识图谱作为外部知识来实现，LSTM保留时序信息，这些信息共同识别用户意图，识别结果用来判定是否开启下一个会话。本发明利用知识图谱和LSTM学习了上下文深层语义、利用注意力机制过滤掉无用信息，从而提高了识别用户意图的效率和准确率。

主权项

1.一种层次注意力LSTM和知识图谱的多轮对话管理方法，其特征在于：将会话中用户和系统的对话内容作为上下文，利用上下文在单词和句子层面的重要、时序信息抽取上下文深层语义，具体分两步，首先在单词层面利用第一层注意力机制LSTM抽取句子语义，其次在句子层面利用第二层注意力机制LSTM抽取上下文语义；其中，注意力机制保留重要信息，且注意力机制通过知识图谱作为外部知识来实现，LSTM保留时序信息，这些信息共同识别用户意图，识别结果用来判定是否开启下一个会话；本方法利用知识图谱和LSTM学习了上下文深层语义、利用注意力机制过滤掉无用信息，采用如下技术方案：首先进行相关定义，具体如下：定义1：query，是指用户会向系统提出的一些问题，每一个query都会对应一个用户意图，query又分为两类：first query和非first query；其中，first query和非first query，是指在一个会话中的用户的第一个query，相对应的会话中剩余的query就称为非first query；定义2：用户意图，即用户query的主题，是用户提出query的意图，该用户意图和知识图谱中的实体相对应；定义3：上下文，由若干个有序的句子构成，对于会话中的任意一个非firstquery而言，其前面出现的所有对话称为当前query的上下文；定义4：层次注意力的LSTM，有两层网络，第一层是注意力机制和LSTM结合，第二层是将第一层的结果作为输入，然后将注意力机制和LSTM结合，从而组成层次注意力的LSTM；定义5：输入序列，指词向量序列或者句向量序列，层次注意力的LSTM的第一层输入序列是词向量序列，第二层输入序列是句向量序列；定义6：上下文语义向量序列，上下文中每一个句子用一个句向量来表示，那么上下文中所有句子对应的句向量序列就是上下文语义向量序列；定义7：上下文语义向量，用一个向量表示上下文中所有的句子，该向量就是上下文语义向量；所述层次注意力LSTM和知识图谱的多轮对话管理方法，包括如下步骤：步骤1、构建词表、语料集、分词，再利用word2vec算法对分词结果进行学习，得出知识图谱中用户意图的词向量，具体又包括如下子步骤：步骤1.1构建词表，将知识图谱中的用户意图作为单词整理成词表；步骤1.2构建语料集，具体为：通过爬虫工具在维基百科以及百度知道网站中爬取涵盖步骤1.1词表中单词的句子；步骤1.3将步骤1.2爬取的句子进行分词；步骤1.4训练词向量，具体用word2vec算法对步骤1.3的分词结果进行训练，输出词向量；步骤2、输入当前query，并判断当前query是否为会话的first query，如果是则执行步骤3，否则执行步骤4；其中，当前query，是指需要判断用户意图的query；会话是指对话内容，当前会话是指系统和用户已完成的对话内容，新会话是指上下文的用户意图和当前query的用户意图不同时，清除已完成对话内容，并开启新一轮的对话；步骤3、对当前query分词并利用规则方法识别用户意图，具体又包括如下子步骤：步骤3.1利用nltk包对当前query进行分词，得到分词结果，记为：q＝[q₁，q₂，...，q_n]；步骤3.2将步骤3.1输出的分词结果和知识图谱中的用户意图进行一一匹配，若匹配成功，则匹配结果就是用户意图，输出匹配结果并跳至步骤6；若匹配失败，则执行步骤3.3；步骤3.3利用大规模中文概念图谱CN‑Probase将步骤3.1分词结果映射成概念集合p＝[p₁，p₂，...，p_m]，再令q＝p，执行步骤3.2；步骤4、利用基于注意力机制LSTM模型计算上下文中第s个句子的语义向量、上下文语义向量序列；其中，上下文由若干个有序的句子构成，对于会话中的任意一个非first query而言，其前面出现的所有对话称为当前query的上下文；步骤4具体又包括如下子步骤：步骤4.1将s赋值1；步骤4.2训练上下文单词的词向量、计算上下文中句子的隐含层向量、词向量权重和上下文中第s个句子语义向量，具体又包括如下子步骤：步骤4.2.1利用word2vec算法训练上下文所有单词的词向量；步骤4.2.2计算Context_s的隐含层向量，记为h_s，其中，Context_s表示上下文中第s个句子的语义向量；h_s具体通过公式(1)计算：其中，表示t时刻遗忘门，表示t时刻的输入门，表示t时刻更新的信息，表示t时刻的信息，表示t‑1时刻的信息，表示t时刻的输出门，表示t时刻隐含层向量，表示参数矩阵，表示步骤4.1.1中t时刻对应的词向量，表示矩阵参数，表示t‑1时刻的隐含层向量，表示偏置向量参数，σ表示Sigmoid函数，是LSTM模型的激活函数，tanh表示双曲正切函数，是LSTM模型的激活函数，表示向量的叉乘,n表示输入序列中词向量序列的长度，为零向量；步骤4.2.3利用用户意图和步骤4.2.2得到的隐含层向量，计算输入序列中词向量权重，记为α_s，具体通过公式(2)的注意力机制来完成：其中，表示输入序列中词向量权重的第k维，UI表示用户意图，是以向量的方式表示，h_{s_k}表示隐含层向量h_s的第k维，h_{s_j}表示隐含层向量h_s的第j维，w表示权重维度大小，e表示指数函数，g是一个前向神经网络；步骤4.2.4利用步骤4.2.2输出的隐含层向量和步骤4.2.3输出的权重计算Context_s，具体通过公式(3)计算：其中，表示上下文中第s个句子语义向量的第k维，表示隐含层向量的第k维，表示i时刻隐含层向量；步骤4.3判断s是否等于K，若不等于则s加1，跳步骤4.2；若等于则跳入步骤5；其中，K是上下文中句子的个数；步骤5、利用层次注意力LSTM和知识图谱，计算上下文语义向量、识别用户意图，具体又包括如下子步骤：步骤5.1计算上下文语义向量序列的隐含层向量、句向量权重、上下文语义向量、识别用户意图，具体又包括如下子步骤：步骤5.1.1计算Semantic的隐含层向量，记为hide；其中，Semantic表示上下文语义向量；hide具体通过公式(4)计算：f^t＝σ(W_fContext_t+U_fh^t‑1+b_f)i^t＝σ(W_iContext_t+U_ih^t‑1+b_i)o^t＝σ(W_oContext_t+U₀h^t‑1+b_o)1≤t≤mhide＝h^m其中，f^t表示t时刻遗忘门，i^t表示t时刻的输入门，表示t时刻更新的信息，c^t表示t时刻的信息，c^t‑1表示t‑1时刻的信息，o^t表示t时刻的输出门，h^t表示t时刻隐含层向量，W_f，W_i，W_o表示参数矩阵，Context_t表示上下文语义向量序列中的第t个，U_f，U_i，U_o表示矩阵参数，h^t‑1表示t‑1时刻的隐含层向量，b_f，b_i，b_o表示偏置向量参数，σ表示Sigmoid函数，是LSTM模型的激活函数，tanh表示双曲正切函数，是LSTM模型的激活函数，表示向量的叉乘，m表示输入序列中句向量序列的长度，h⁰为零向量；步骤5.1.2利用用户意图UI和步骤5.1.1输出的隐含层向量，计算输入序列中句向量权重，记为α，具体通过公式(5)的注意力机制来计算：其中，α^k表示输入序列中句向量权重的第k维，UI表示用户意图，是以向量的方式表示，h^k表示在k时刻的隐含层向量，h^j表示在j时刻的隐含层向量，g是一个前向神经网络；步骤5.1.3利用步骤5.1.1得到的隐含层向量和步骤5.1.2得到的权重计算上下文语义向量Semantic，具体通过公式(6)计算：1≤k≤mSemantic＝[Semantic¹，Semantic²，...，Semanticⁿ]其中，Semantic^k表示上下文语义向量的第k维，α^k表示输入序列中句向量权重的第k维，h^i_k表示隐含层向量hⁱ的第k维；步骤5.2利用步骤5.1输出的上下文语义向量和知识图谱识别用户意图，具体是通过逻辑回归的方法进行分类，目标函数如公式(7)：其中，UI_next表示需要识别的用户意图，UI表示上下文对应的用户意图，θ_next表示UI_next对应的参数，θ_i表示词表中i位置单词所对应的参数，表示向量的连接，|V|表示词表的大小，Semantic表示上下文语义向量，Σ表示求和；步骤5.3利用交叉熵的方法通过公式(8)计算计算步骤5.2中目标函数(7)的损失函数：L＝‑log(P(y＝UI_next|UI))              (8)其中，UI_next表示需要识别的用户意图，log表示以10为底的对数函数，UI表示上下文对应的用户意图；损失函数(8)通过Sampled Softmax算法和随机梯度下降参数更新方法进行求解并输出识别的用户意图；步骤6判断输出结果和用户意图UI是否一致，如果一致，则仍然延用当前会话，不需要开启新会话，如果不一致，则关闭当前会话并开启一个新会话。