[发明专利]一种基于回复者个人特征增强的对话生成方法

权利要求书

1.一种基于回复者个人特征增强的对话生成方法，其特征在于，包括以下步骤：

(1)构建2个encoder-decoder基本框架：

2个encoder-decoder基本框架分别用于重构训练语料每段对话上下文中有关回复者的句子和每段对话中的响应；

(2)构建个人特征提取器：

个人特征提取器用于提取回复者个人特征的潜在变量z_r；它是在用于重构训练语料中每段对话上下文有关回复者句子的encoder-decoder基本框架上引入vMF分布构建成为一个基于vMF分布的VAE生成模型，得到个人特征潜在变量z_r；

vMF分布即von Mises-Fisher分布，用于表示单位球面上的概率分布，其概率密度函数如下：

其中，d表示该空间的维度，x表示d维的单元随机向量；表示单位球面上的方向向量，||μ||＝1；κ≥0表示浓度参数；I_ρ表示ρ阶的修正Bessel函数，其中ρ＝d/2-1；上述分布指出了单位向量在球面上的分布情况；

个人特征提取器由句子编码器、局部上下文编码器、vMF分布和回复解码器构成；

首先，句子编码器利用双向RNN分层编码器编码有关回复者信息的句子x^r，它将x^r中的每个句子编码为一个向量然后将x^r中所有编码后的向量作为局部上下文编码器的输入，最后得到有关回复者信息的句子x^r的潜在向量

接着，利用vMF分布对有关回复者信息的句子x^r的隐藏状态进行学习得到关于回复者个人特征的表示分布，然后对该分布进行rejection采样得到潜在变量z_r，采样公式如下：

其中，ω∈[-1,1]；将z_r作为回复解码器的输入得到重构后的有关回复者信息句子x^r的概率分布，计算公式如下：

其中l表示上下文中有关回复者信息的句子x^r的数目；N_i是x^r中第i个句子的长度，w_i,j是x^r中第i个句子的第j个单词的表示；

最终利用ELBO公式优化模型：

其中，表示重构误差，用于计算后验分布和先验分布之间的KL散度，先验分布服从其后验分布服从其中是后验分布的参数，被设置为一个常量；计算公式如下：

其中是个线性函数，||·||用于确保正则化；

KL散度的计算公式如下：

其中Γ(·)表示Gama分布；

(3)构建信息增强生成器：

信息增强生成器用于得到融合回复者个人特征潜在变量z_r和上下文x的响应y；信息增强生成器是在用于重构训练语料中每段对话响应的encoder-decoder基本框架上引入vMF分布和回复者个人特征潜在变量z_r构成一个基于vMF分布的CVAE生成模型，得到响应y；

信息增强生成器是通过结合个人特征潜在变量z_r和对话上下文x最终生成响应y；具体包括以下步骤：

信息增强生成器包括句子编码器、全局上下文编码器、vMF分布和响应解码器；

首先，利用句子编码器编码所有上下文句子x₁，x₂，…，x_n为编码响应y为向量将作为全局上下文编码器的输入得到上下文潜在向量

其次，将上下文潜在向量和响应生成的向量结合作为vMF分布的输入，得到分布表示，采样输出上下文潜在变量z，过程如下：

其中，ω∈[-1,1]；

最终，将上下文x，上下文潜在变量z和回复者个人特征潜在变量z_r作为响应解码器的输入最终生成响应y；

生成过程表示如下：

其中σ表示sigmoid函数；是响应y中的第i个单词的词嵌入表示；表示了第t步的隐藏状态；V和b是要学习的参数；p_vocab表示了词表的生成概率；p_vocab(w_y,i)表示生成词w_y,i的概率；N_y表示响应y的长度；公式(11)表示了响应y的生成概率；

采用基于vMF分布的CVAE的优化过程表示如下：

其中表示生成过程，表示重构误差，表示后验分布和先验分布之间的KL散度，后验分布为先验分布为上式中vMF分布的参数后设置为常数，后验参数先验参数计算如下：

其中CVAE的后验分布服从先验分布服从则是基于x；根据上述先验和后验得到KL散度的如下公式：