[发明专利]一种基于回复者个人特征增强的对话生成方法

说明书

本发明公开了一种基于回复者个人特征增强的对话生成方法，包括如下步骤：1)构建2个encoder‑decoder基本框架；2)利用vMF分布在encoder‑decoder模型上构建基于vMF分布的VAE模型作为个人特征提取器，得到基于上下文的回复者个人特征潜在变量；3)利用个人特征潜在变量和vMF分布在encoder‑decoder模型上构建CVAE生成模型作为信息增强生成器，得到融合回复者个人特征潜在变量和上下文的响应。该对话生成方法通过建模回复者的个人特征和上下文，得到能够有效反应回复者的个人特征的响应并在相关评价指标上取得更好的结果。

技术领域

本发明涉及自然语言处理以及对话系统技术领域，具体为一种基于回复者个人特征增强的对话生成方法。

背景技术

随着人工智能在近两年的不断兴起，在很多领域，有越来越多的人工智能产品慢慢的出现在行业服务当中，其中对话系统作为一个新的领域越来越受到人们的广泛关注。面向开放领域的对话系统^[1]是人机对话中的一个重要方向，其目标是尽可能地使生成的对话响应更加自然、流畅和多样。

近年来，深度学习技术的不断进步极大地推动了对话生成相关研究的发展,使得对话生成不再仅仅依靠模板匹配与检索等方式。近些年来对话系统方法主要包括：(1)基于生成的方法，主要包括采用Encoder-Decoder框架的Seq2Seq模型^[2]，基于神经变分编码器的生成模型^[3]等；(2)基于检索的方法，主要是从候选响应中选择响应。其关键是消息响应匹配，匹配算法必须克服消息和响应之间的语义差异；(3)混合方法，将神经生成模型和基于检索的模型结合起来，这种方法结合了检索和基于生成的模型的优点，在性能上很有吸引力。

以上方法主要考虑了响应的多样性，很少考虑回复者生成响应的一致性；神经变分编码器模型中存在KL散度消失问题，造成无法有效利用潜在空间^[4]，而该空间含有较多的回复者个人特征。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种基于回复者个人特征增强的对话生成方法。该方法利用encoder-decoder框架引入vMF分布构建VAE和CVAE，其融合了对话上下文中回复者的个人特征和上下文信息，最终得到的对话生成结果相较于现有模型在Average，Greedy，Extreme，Distinct-1和Distinct-2这5个指标中的结果最好。

本发明的目的是通过以下技术方案实现的：

一种基于回复者个人特征增强的对话生成方法，包括以下步骤：

(1)构建2个encoder-decoder基本框架：

2个encoder-decoder基本框架分别用于重构训练语料每段对话上下文中有关回复者的句子和每段对话中的响应；

(2)构建个人特征提取器：

个人特征提取器用于提取回复者个人特征的潜在变量z_r；它是在用于重构训练语料中每段对话上下文有关回复者句子的encoder-decoder基本框架上引入vMF分布构建成为一个基于vMF分布的VAE生成模型，得到个人特征潜在变量z_r；

(3)构建信息增强生成器：

信息增强生成器用于得到融合回复者个人特征潜在变量z_r和上下文x的响应y；信息增强生成器是在用于重构训练语料中每段对话响应的encoder-decoder基本框架上引入vMF分布和回复者个人特征潜在变量z_r构成一个基于vMF分布的CVAE生成模型，得到响应y。