[发明专利]一种基于词组多样性的对话生成方法

说明书

本发明公开了一种基于词组多样性的对话生成方法，构造对话生成模型，包括句子编码器、上下文编码器、转化层、条件变分自编码器、解码器以及词袋层，包括步骤：将对话上下文编码为一个上下文向量；将上下文向量映射为符合解码器输入大小的隐含状态，并将得到的隐含状态作为解码器的初始隐含状态；获取随机潜在变量；将得到的随机潜在变量、上下文向量、前一个词的词向量以及前一个时间步的隐含状态输入解码器的循环神经网络单元，得到循环神经网络单元输出的当前时间步的隐含状态；将解码器输出的当前时间步的隐含状态输入到词分类器，得到词分类器输出的一个词表大小的概率分布向量。本发明能够生成较为流畅且具词组层级多样性的对话回复。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于词组多样性的对话生成方法。

背景技术

随着互联网与自然语言处理技术的发展，对话系统作为一种全新的人机交互方式，正逐步走进人们的生活。各大企业瞄准对话系统的巨大商业价值，纷纷围绕其进行平台布局，其中便有阿里巴巴的“阿里小蜜”，苹果的“Siri”以及微软的“小冰”等等。

对话系统依据不同的目标可以大致分为两类——面向任务型对话系统和非面向任务型对话系统。面向任务型对话系统旨在帮助人们完成某项具体的任务(例如订购机票、订餐、购物等)，而非面向任务型对话系统则更关注于与人们进行开放式的对话。

当前，对话系统的实现方式主要分为基于检索和基于生成两种方法。基于检索的方法需要事先利用语料集构造一个候选回复库，当用户输入一个对话上下文时，该方法通过匹配算法，计算对话上下文与候选回复之间的匹配分数，之后再根据匹配分数挑选出合适的候选回复作为对话回复，返回给用户。基于检索的方法的一大优点是得到的对话回复一般比较精确，但是缺点也很明显，就是无法得到候选回复库中没有的对话回复。相比于基于检索的方法，基于生成的方法能生成语料集中没有的回复。基于生成的方法利用了深度学习的方法以及大量的训练语料来构建有效的语言模型，使得构建的模型能够根据输入的对话上下文，逐词逐字地生成一个对话回复。比较经典的基于生成的方法是2014年GoogleBrain团队提出的序列到序列模型，该模型包含两个模块，一个称为编码器，另一个称为解码器。其中，编码器负责将输入的对话上下文编码为一个上下文向量，解码器则负责将这个上下文向量解码为一个对话回复。序列到序列模型生成的对话回复可能是语料集中未出现的，但是该方法也有缺陷，那就是其生成的回复一般是比较通用和枯燥的回复(例如“是的”、“我不知道”等)。

针对以上问题，许多研究者致力于改进序列到序列模型，以提高其生成的对话回复的多样性。其中，有研究者尝试在序列到序列对话生成模型中引入随机潜在变量。他们认为，对于同一对话上下文，对话回复是因人而异的，存在多种可能，然而普通的序列到序列对话生成模型生成的回复是相对确定的，其倾向于生成在数据集中出现概率较高的回复，因此会倾向于生成通用的回复。通过在生成模型引入随机潜在变量，模型在生成对话回复之前先通过采样得到随机潜在变量，再解码这个随机潜在变量来生成回复，这样模型便可以借助随机潜在变量的随机性生成不同的、多样的回复。

基于以上思想，Tiancheng Zhao等人于2017年提出了一种基于条件变分自编码器的对话生成模型——kgCVAE。该模型改进了序列到序列模型的编码器，引入了条件变分自编码器的方法，通过一个随机潜在变量隐式地捕获多样的对话意图，并利用该随机潜在变量在句子层级上指导对话回复的生成。虽然该方法能够在句子层面上为对话回复的生成提供全局指导，提高对话回复在句子层级上的多样性，但是其没有对回复内的词组多样性进行建模，因此无法很好地捕获对话回复在词组层级上的多样性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于词组多样性的对话生成方法。本发明通过在序列到序列模型中的解码器的每一个时间步中引入条件变分自编码器，从而捕获对话回复在词组层级上的多样性，提高对话回复在词组层级上的多样性。此外，本发明还加入了一种称为“词袋损失”的辅助损失作为辅助优化目标，提高了模型生成的对话回复的流畅性。

本发明的目的能够通过以下技术方案实现：