[发明专利]生成式多轮闲聊对话方法、系统及计算机可读存储介质

摘要

本发明公开了生成式多轮闲聊对话方法、系统及计算机可读存储介质，分为两个阶段：阶段一：利用语料库的对话，对多轮闲聊对话模型进行训练；阶段二：将用户提出的待答复的问题输入到训练好的多轮闲聊对话模型中，输出实际答复。通过挖掘对话历史中的关键词、在模型中引入注意力机制，将对话历史中的所有词区别对待，扩大了历史对话中关键词在生成回复时的作用。通过宽度通道来预测关键词拓宽话题，通过深度通道来预测历史对话中关键词的权重，以此来深入当前话题，将两部分得到的话题信息引入解码器中辅助解码，话题信息的引导有效地解决了无意义回复的问题，大大减少了无意义回复的数量。

主权项

1.一种生成式多轮闲聊对话方法，其特征是，分为两个阶段：/n阶段一：利用语料库的对话，对多轮闲聊对话模型进行训练；/n阶段二：将用户已经发生的对话或新提出的待答复的问题作为对话历史输入到训练好的多轮闲聊对话模型中，输出实际答复；/n所述利用语料库的对话，对多轮闲聊对话模型进行训练，包括：/n步骤(1)：构建多轮闲聊对话模型，所述多轮闲聊对话模型包括：关键词抽取模块、宽度通道、全局通道、深度通道和解码器；所述宽度通道和深度通道并列设置，全局通道的输出分别作为宽度通道和深度通道的输入；所述宽度通道内设置有基于注意力机制的循环神经网络；所述全局通道内设置编码器；所述深度通道内设置深度神经网络；所述宽度通道和深度通道的输入端均与关键词抽取模块连接；所述宽度通道、全局通道和深度通道的输出端均与解码器连接，所述解码器内设有基于注意力机制的循环神经网络；/n步骤(2)：将语料库中的对话分为历史对话和当前答复，所述历史对话和当前答复是相对而言的，所述历史对话，是指当前答复之前的对话内容；历史对话发生的时刻在当前答复发生的时刻之前；所述历史对话包括已知的若干组对话；然后，抽取历史对话的关键词；/n步骤(3)：将语料库中的历史对话输入到全局通道的编码器中进行编码，生成上下文向量；/n步骤(4)：将步骤(2)得到的历史对话的关键词和步骤(3)得到的上下文向量，输入到宽度通道的基于注意力机制的循环神经网络，输出用来拓宽话题的预测关键词，并将预测关键词编码为对应的预测关键词的编码向量；/n步骤(5)：将步骤(2)得到的历史对话的关键词和步骤(3)得到的上下文向量，输入到深度通道的深度神经网络，输出历史对话中关键词的权重，基于权重得到加权后的历史对话关键词编码向量；/n步骤(6)：将步骤(3)得到的上下文向量、步骤(4)得到的预测关键词的编码向量和步骤(5)得到的加权后的历史对话关键词编码向量均输入到解码器的基于注意力机制的循环神经网络中，输出回复结果；/n步骤(7)：将步骤(6)得到的回复结果，与步骤(2)中的当前回复进行比较，计算交叉熵，得到损失函数，利用梯度下降算法对多轮闲聊对话模型进行优化，得到训练好的多轮闲聊对话模型。/n