[发明专利]一种基于层次化注意力机制的多轮对话模型构建方法

摘要

本发明涉及一种基于层次化注意力机制的多轮对话模型构建方法，是为了解决现有的人机对话系统依赖于大规模语料，训练速度受到语料规模的影响，并且由于对话生成的回复不唯一性，Seq2Seq模型总是倾向于生成通用，无意义的回复的缺点，而提出一种基于层次化注意力机制的多轮对话模型构建方法，包括接收句子输入，针对每一个句子，从第一个单词开始计算加密隐函数，计算第每个句子的Attention权重，并计算话题语境表示向量，最后计算解密隐函数，同时将结果进行输出。本发明适用于开放域的聊天机器人系统。

主权项

一种基于层次化注意力机制的多轮对话模型构建方法，包括：步骤一、接收n+1个句子输入co，c1，...cn；步骤二、针对每一个句子ci，从第一个单词开始计算加密隐函数hi，t＝f(xi，t，hi，t‑1)，其中其中xi，t代表ci第t个单词；其中hi，0为预设参数；并将最后一个计算完毕的hi，t作为句子ci的加密隐函数hi；步骤三、计算第i个句子的Attention权重其中ei＝vTtanh(Whi+Uhn)；v、W、U均为Attention机制中的预设参数；tanh为激活函数；步骤四、计算话题语境表示向量T＝∑αihi；步骤五、计算解密隐函数st＝f(yt‑1，st‑1，T)，yt‑1表示t‑1时刻的迭代输入量，y0为预设值；s0＝hn；步骤六、将s1，s2，…sn的值作为结果进行输出。