[发明专利]生成式多轮闲聊对话方法、系统及计算机可读存储介质

权利要求书

1.一种生成式多轮闲聊对话方法，其特征是，分为两个阶段：

阶段一：利用语料库的对话，对多轮闲聊对话模型进行训练；

阶段二：将用户已经发生的对话或新提出的待答复的问题作为对话历史输入到训练好的多轮闲聊对话模型中，输出实际答复；

所述利用语料库的对话，对多轮闲聊对话模型进行训练，包括：

步骤(1)：构建多轮闲聊对话模型，所述多轮闲聊对话模型包括：关键词抽取模块、宽度通道、全局通道、深度通道和解码器；所述宽度通道和深度通道并列设置，全局通道的输出分别作为宽度通道和深度通道的输入；所述宽度通道内设置有基于注意力机制的循环神经网络；所述全局通道内设置编码器；所述深度通道内设置深度神经网络；所述宽度通道和深度通道的输入端均与关键词抽取模块连接；所述宽度通道、全局通道和深度通道的输出端均与解码器连接，所述解码器内设有基于注意力机制的循环神经网络；

步骤(2)：将语料库中的对话分为历史对话和当前答复，所述历史对话和当前答复是相对而言的，所述历史对话，是指当前答复之前的对话内容；历史对话发生的时刻在当前答复发生的时刻之前；所述历史对话包括已知的若干组对话；然后，抽取历史对话的关键词；

步骤(3)：将语料库中的历史对话输入到全局通道的编码器中进行编码，生成上下文向量；

步骤(4)：将步骤(2)得到的历史对话的关键词和步骤(3)得到的上下文向量，输入到宽度通道的基于注意力机制的循环神经网络，输出用来拓宽话题的预测关键词，并将预测关键词编码为对应的预测关键词的编码向量；

步骤(5)：将步骤(2)得到的历史对话的关键词和步骤(3)得到的上下文向量，输入到深度通道的深度神经网络，输出历史对话中关键词的权重，基于权重得到加权后的历史对话关键词编码向量；

步骤(6)：将步骤(3)得到的上下文向量、步骤(4)得到的预测关键词的编码向量和步骤(5)得到的加权后的历史对话关键词编码向量均输入到解码器的基于注意力机制的循环神经网络中，输出回复结果；

步骤(7)：将步骤(6)得到的回复结果，与步骤(2)中的当前回复进行比较，计算交叉熵，得到损失函数，利用梯度下降算法对多轮闲聊对话模型进行优化，得到训练好的多轮闲聊对话模型。

2.如权利要求1所述的一种生成式多轮闲聊对话方法，其特征是，

阶段二所执行的步骤与阶段一所执行的步骤(2)-(6)是一样的，只是阶段二中将用户已经发生的对话或新提出的待答复的问题视为历史对话。

3.如权利要求1所述的一种生成式多轮闲聊对话方法，其特征是，

所述步骤(2)的步骤为：

将语料库中的每组历史对话作为一个文件，将整个语料库看成文件集；

采用TF-IDF算法计算每个词对于每个文件的权重；

从每组历史对话的所有词中筛选权重高于设定阈值的词作为每组历史对话的关键词。

4.如权利要求1所述的一种生成式多轮闲聊对话方法，其特征是，

所述步骤(3)中：

对历史对话进行分词处理，将历史对话看成一组词的序列，利用循环神经网络对每组词的序列进行编码，编码成一个上下文向量；

C＝{w₁，w₂...w_T}

其中C代表词的序列，w_i表示历史对话中的第i个词，T是指整个历史对话共包含T个词，f是由循环神经网络单元构成的非线性函数；h_t是循环神经网络的在t时刻的隐状态向量，是历史对话中第t个词w_t的编码向量，h_t-1是循环神经网络的在t一1时刻的隐状态向量；编码结束时，T时刻的隐状态向量h_T就是最后编码成的上下文向量。