[发明专利]一种基于强化双通道序列学习的对话回复生成方法及系统

权利要求书

1.一种基于强化双通道序列学习的对话回复生成方法，其特征在于，包括以下步骤：

(1)采用深度循环神经网络和注意力机制相结合的方式进行上下文信息建模，获取上下文语义向量；所述上下文语义向量的计算公式为：

其中，C_u表示上下文语义向量，a_j,t表示第j个单词受到第t个隐含状态影响的注意力权重，M为上下文出现的所有单词个数，w_j为上下文中出现第j个单词的词向量表示，a_j,t计算公式为：

其中，h_t为第t个当前单词的隐含状态表示，z_j为第j个单词在上下文语境中的语义表示，z_j的计算公式为：

z_j＝tanh(W_m-1z_j-1+W_m+1z_j+1+b_m)

其中，z_j-1和z_j+1为前个单词和后个单词隐含表示，W_m-1，W_m+1，b_m是训练得到的参数，tanh是正切激活函数；

(2)利用编码器将当前对话和上下文语义向量结合学习，得到当前对话向量以及编码器向量；所述的编码器向量计算公式为：

其中，C_x为初始编码器得到的上下文语义表示，α_i代表初始解码器受到上下文语境C_u和当前单词学习到的隐含状态的注意力权重，为学习的参数，tanh为正切激活函数，控制注意力权重的范围；

(3)将上下文语义向量和当前对话向量输入解码器，得到第一通道对话回复草稿以及解码器向量；所述第一通道对话回复草稿生成的公式为：

其中，h_i是通过深度循环神经网络学习到对话的原始隐含状态，C_u为对话的上下文信息，表示第一通道解码器最终生成的第i个单词隐含信息，s^*表示一系列组合而成的完整表示；p_θ表示模型参数θ下的条件概率；

通过softmax函数，最终的每个生成隐含信息用来从多模态信息中采样得到由隐含函数决定的第一通道生成的单词；

所述的解码器向量计算公式为：

其中，β_i表示上下文信息与第一通道生成的第i个单词之间的注意力权重，表示第二通道生成的上下文语义信息，为草稿经过润饰后的第二个上下文理解版本，为学习的参数，tanh为正切激活函数；

(4)将编码器向量与解码器向量以及第一通道对话回复草稿输入润饰器进行润饰，生成第二通道经过润饰的对话回复；所述第二通道经过润饰的对话回复计算公式为：

其中，s_t为最终生成经过润饰后的第t个单词，表示第二通道解码器最终生成的第t个单词隐含信息，y表示一系列组合而成的完整表示；表示第二通道生成的上下文语义信息；

通过softmax函数，最终的每个生成隐含信息从多模态信息中采样得到，s_t由隐含函数决定的最终生成单词；

(5)利用强化学习算法优化目标函数；具体步骤为：

(5-1)训练过程中，输入要学习的句子并得到新生成的采样句子，从而得到在具体评判标准下的训练奖励值；

(5-2)测试过程中，输入要测试的对话以及预测出的句子，得到在具体评判标准下的测试奖励值；

(5-3)设计目标函数，基于训练奖励值和测试奖励值，通过计算策略梯度，采用蒙特卡洛采样法优化最终目标；所述计算策略梯度的公式为：

其中，为损失函数的梯度下降表示，表示每个最终生成的单词与真实单词之间的误差累积期望值，r(w^s)为训练奖励值，r(w^t)代表测试奖励值，p_θ(w^s)为单词的采样分布概率；

(6)模型训练完毕，生成对话回复并输出。