[发明专利]基于深度强化学习的开放域对话回复方法及系统

说明书

本发明属于人工智能领域，涉及自然语言生成和情感分析，为对开放域对话系统引入内容连贯性控制和情绪合理性控制，提出一种基于深度强化学习的开放域对话回复方法及系统。该方法包括，获取对话输入内容进行预处理；预处理后的信息输入对话回复控制模型进行处理，对话回复控制模型包括对话生成模块、内容连贯性控制模块和情绪合理性控制模块，对话生成模块用于生成对话回复，内容连贯性控制模块用于使对话上下文内容连贯，情绪合理性控制模块用于句子情绪分类和判断回复情绪是否合理；输出内容连贯且情绪合理的对话回复。

技术领域

本发明属于人工智能领域，涉及自然语言生成和情感分析，为对开放域对话系统引入内容连贯性控制和情绪合理性控制，提出一种基于深度强化学习的开放域对话回复方法及系统。

背景技术

开放域对话系统控制旨在为神经网络生成对话回复的过程增加更多可控性和确定性。在基于神经网络的生成式对话系统之前，主流的对话系统是检索式的，所有的候选对话回复都来自于数据库，针对一个新的对话上文，当数据库中不存在合适的下文时，系统的效果会下降，并且缺少多样性的回复也不适用于开放域的对话场景。生成式对话系统可以生成数据库之外的回复，但是也存在一些问题，其中比较突出的问题就是不可控性，例如情绪的错误表达，对话内容无意义等。神经网络通过拟合数据集来学习如何对话，怎样设计神经网络，使它可以在更多角度来拟合数据集，从而达到不同的控制目的，是许多研究学者关注的，并且具有较大的研究价值。

前人的研究更多关注利用可监督信息进行对话控制：对于内容连贯性控制，使用对话数据集中的真实回复作为监督，认为生成的回复内容上越接近真实回复越是内容连贯的；对于情绪合理性控制，使用对话数据集中的情绪标签等情绪标注作为监督，认为生成回复的情绪与情绪标签越接近越是合理的。但由于绝大多数的对话数据集都没有情绪标签，许多研究关注如何间接引入情绪标注。例如直接指定回复具有的情绪标签，并且是全标签，而对话回复应该具有什么情绪则作为后续的研究；利用对话数据集中的表情符号，在一系列转换后作为句子的情绪标签；使用VAD词嵌入和负面词等方法获取情绪输入。他们都在各自的数据集上取得了不错的性能。

使用真实回复作为监督信息使得神经网络学习如何生成完整的流畅的回复句子，然而不能保证回复跟对话上文是内容相关的，因为模型更多地关注了回复。间接引入情绪标注的监督方法可以在特定的对话数据集上取得较好的成绩，但是难以扩展到其他数据集，目前还没有一个能够适用于任意开放域对话数据集的方法。并且直接将对话回复的情绪作为可监督信息来控制回复的情绪还有一个问题是导致生成情绪安全的回复，即生成的回复符合预期的情绪，但是内容上比较空泛，不利于对话的进行。综上所述，开放域对话系统的内容连贯性控制和情绪合理性控制是一项创新的研究问题，具有重要的研究意义和应用价值。

发明内容

本发明的目的是在缺少情绪标注的情况下实现开放域对话系统的内容连贯性控制和情绪合理性控制，基于深度强化学习技术，创新的提出了一种对话生成控制方法，提高了生成的对话的内容连贯性和情绪合理性。

为实现上述目的，本发明采用如下技术方案：

基于深度强化学习的开放域对话回复方法，包括，

获取对话输入内容进行预处理；

预处理后的信息输入对话回复控制模型进行处理，对话回复控制模型包括对话生成模块、内容连贯性控制模块和情绪合理性控制模块，对话生成模块用于生成对话回复，内容连贯性控制模块用于使对话上下文内容连贯，情绪合理性控制模块用于句子情绪分类和判断回复情绪是否合理；

输出内容连贯且情绪合理的对话回复。

本技术方案进一步的优化，所述对话输入内容预处理包括：将对话句子分词，构建输出数据的词典，将词转化为统一维度的词向量。

本技术方案进一步的优化，所述对话生成模块由引入注意力机制的序列到序列模型构成。