[发明专利]一种基于层次化注意力机制的多轮对话模型构建方法

权利要求书

1.一种基于层次化注意力机制的多轮对话模型构建方法，包括：

步骤一、接收n+1个句子输入c_o，c₁，...c_n；

步骤二、针对每一个句子c_i，从第一个单词开始计算加密隐函数h_i，t＝f(x_i，t，h_i，t-1)，其中其中x_i，t代表c_i第t个单词；其中h_i，0为预设参数；并将最后一个计算完毕的h_i，t作为句子c_i的加密隐函数h_i；

步骤三、计算第i个句子的Attention权重其中e_i＝v^Ttanh(Wh_i+Uh_n)；v、W、U均为Attention机制中的预设参数；tanh为激活函数；

步骤四、计算话题语境表示向量T＝∑α_ih_i；

步骤五、计算解密隐函数s_t＝f(y_t-1，s_t-1，T)，y_t-1表示t-1时刻的迭代输入量，y₀为预设值；s₀＝h_n；

步骤六、将s₁，s₂，…s_n的值作为结果进行输出。

2.根据权利要求1所述的基于层次化注意力机制的多轮对话模型构建方法，其特征在于，当步骤一中接收的句子输入为训练数据时，步骤五中y_t-1为预设的标准答案单词，当步骤一中接收的句子输入为实测数据时，步骤五中y_t-1的值等同于s_t-1。

3.一种基于层次化注意力机制的多轮对话模型构建方法，包括：

步骤一、接收n+1个句子输入c_o，c₁，...c_n；

步骤二、针对每一个句子c_i，从第一个单词开始计算加密隐函数h_i，t＝f(x_i，t，h_i，t-1)，其中其中x_i，t代表c_i第t个单词；其中h_i，0为预设参数；并将最后一个计算完毕的h_i，t作为句子c_i的加密隐函数h_i；

步骤三、计算第i个句子中第t个单词的Attention权重其中e_it＝v^Ttanh(Wh_i+Us_t-1)；v、W、U均为Attention机制中的预设参数；s_t-1为t-1时刻的隐层状态；tanh为激活函数；

步骤四、计算动态表示向量D_t＝α_ith_i；

步骤五、计算解密隐函数s_t＝f(y_t-1，s_t-1，D_t)，y_t-1表示t-1时刻的迭代输入量，y₀为预设值；s₀＝h_n；

步骤六、将s₁，s₂，…s_n的值作为结果进行输出。

4.根据权利要求3所述的基于层次化注意力机制的多轮对话模型构建方法，其特征在于，当步骤一中接收的句子输入为训练数据时，步骤五中y_t-1为预设的标准答案单词，当步骤一中接收的句子输入为实测数据时，步骤五中y_t-1的值等同于s_t-1。