[发明专利]一种对话回复生成方法和一种对话回复生成方法模型

说明书

本发明涉及一种对话回复生成方法，其包括步骤：S12：根据历史选择知识向量计算选择感知向量；S13：根据选择感知向量和历史选择知识向量计算知识流趋势向量；S14：将选择感知向量和候选知识向量进行比较，获得比较信息；S15：对上下文语句进行编码，获得上下文向量；S20：根据候选知识向量、知识流趋势向量、比较信息和上下文向量计算知识选择分布；S30：根据知识选择分布计算每个候选知识向量的注意力得分，并将注意力得分最高的候选知识向量作为当前选择知识向量；S40：根据上下文向量和当前选择知识向量计算历史解码状态向量，并根据历史解码状态向量和历史生成词计算当前时刻的解码状态向量；S50：计算当前时刻的目标生成概率。

技术领域

本发明涉及对话系统的技术领域，特别是涉及一种对话回复生成方法和一种对话回复生成方法模型。

背景技术

近年来，以深度学习为代表的新一代人工智能技术的兴起，推动了自然语言处理技术(Natural Language Processing,NLP)的蓬勃发展。对话系统，是研究如何赋予机器自然语言处理能力的重要课题，吸引了不少来自学术界和工业界的关注。传统的基于序列到序列(Sequence to Sequence,Seq2Seq)框架的端到端生成式对话系统可以在训练后对于输入对话序列生成相应回复序列，但却趋向于生成呆板、无意义、不够恰当的通用重复性答复，如“好的”、“是的”、“我不知道”等，并且缺少扩展对话内容的能力。在最近的研究中，以知识为基础的对话系统在提升回复的信息量方面有着不错的结果。基于知识的对话(Knowledge-grounded Conversations,KGC)，是指在对话回复生成的过程中引入额外的知识，使得生成的回复具有更加丰富的信息量，但是其关键的挑战在于知识选择(KnowledgeSelection,KS)，即如何从给定的知识语句集中选择合适的知识语句引入到回复生成过程中。

现有的知识选择模型一般可分为两类，非顺序选择和顺序选择。请同时参阅图1和图2，其中，图1为非顺序知识选择模型的模块示意图，图2为顺序知识选择模型的模块示意图。在非顺序知识选择模型中，每一轮对话中的知识选择都是独立的，仅仅依靠于对话语境和给定的候选知识语句集来进行知识选择，其更多地是考虑当前对话的上下文语句和外部知识之间的关系。而顺序知识选择模型，除了根据当前对话的上下文语句与给定的候选知识语句集，还额外考虑了对话前几轮中的历史选择知识语句，并根据前几轮的知识选择情况来调整当前的知识选择策略。这种顺序选择的方法可以更好地模拟多轮对话，促进后面回合进行正确的知识选择。