[发明专利]一种基于强化学习的多轮对话答复选择模型及其方法

权利要求书

1.一种基于强化学习的多轮对话答复选择方法，包括如下步骤：

步骤S1，利用策略网络模块采用随机策略，在各个状态空间下对上下文文本的各句子中的各个单词采样一个动作，从而对整个上下文文本得到一个动作序列；

步骤S2，利用上下文文本重构网络根据策略网络模块输出的动作序列，重构出一个新的上下文文本；

步骤S3，利用分类网络模块将上下文文本重构网络重构后的上下文文本与候选回答句子进行匹配，最后得到分类结果，并根据分类结果计算得到一个损失值，将该损失值作为延迟奖励更新策略网络模块；

所述随机策略为：

π(a_ts_t；θ)＝sigmod(W*[h_u,t-1；e_u,t；e'_u,t]+b)

其中π(a_ts_t；θ)表示选择动作a_t的概率，θ、W、b表示策略网络的参数，且θ＝{W,b}，e_u,t为上下文句子u在t状态下输入的词向量，h_u,t-1表示上一状态下门循环网络GRU的隐藏状态向量，令候选回答其中e_r,i表示句子r中的第i个单词，对有e_t,i建模了当前状态输入的单词和候选答复句子中各个单词的相关性；

步骤S3进一步包括：

步骤S300，将门循环单元的内部隐藏状态作为文本单词的表示，将重构后的上下文文本和候选回答句子，计算重构后上下文文本单词向量矩阵与候选回答句子单词向量句子乘积，得到一个单词-单词的相似性矩阵；

步骤S301，利用卷积神经网络提取该相似性矩阵中的关键特征；

步骤S302，将该关键特征一个全连接层得到最后的分类结果，并根据分类结果计算得到一个损失值，将该损失值作为延迟奖励更新策略网络模块。

2.如权利要求1所述的一种基于强化学习的多轮对话答复选择方法，其特征在于：于步骤S2中，利用所述上下文文本重构网络获得所述策略网络模块得到的动作序列，过滤掉冗余的单词，并将过滤后的上下文文本拼接起来，得到重构后的上下文文本。