[发明专利]能感知对话上下文相对位置信息的多轮对话文本生成方法

权利要求书

1.一种能感知对话上下文相对位置信息的多轮对话文本生成方法，其特征在于，包括以下步骤：

构建多轮对话文本生成模型，包括输入层、上下文自注意力层、响应自注意力层、隐变量层、角色嵌入层和解码器层；其中，所述输入层包括词嵌入层和编码器；

将一个由多个话语序列组成的对话u＝(u₀，u₁，...，u_n-1)输入至所述输入层，经过双向编码处理得到由词嵌入序列组成的词嵌入表示矩阵针对序号为i的话语文本，经过输入层的编码器处理得到话语表示C_i＝h_i＝uRNN(U_i，h_i-1)；

将所述话语表示Ci输入至所述上下文自注意力层，引入话语的位置嵌入PE，基于多头自注意力机制，得到带有相对位置信息的对话上下文话语间注意力表示O_c；其中，位置嵌入PE为自注意力层的学习参数，计算公式如下：

将对话响应R和位置嵌入PE输入至所述响应自注意力层，得到对话响应的注意力表示O_R；其中，对话响应R为在训练语料中对一个样例的候选回复进行编码后的语义向量，由候选回复经过RNN编码后得到；

将所述上下文话语间注意力表示O_c和所述对话响应的注意力表示O_R输入至所述隐变量层，计算得到隐变量l；

将上下文话语文本输入至角色嵌入层，初始化两个门控循环单元模块EvenGRU和OddGRU；其中，EvenGRU为针对当前响应是对话的偶数轮的门控循环单元模块，OddGRU为针对当前响应是对话的奇数轮的门控循环单元模块；

将上下文话语文本输入EvenGRU和OddGRU，根据如下公式，得到角色嵌入RE_i：

其中，i为上下文话语文本的序号，c_n为上下文话语文本；

将词嵌入序列e、所述对话上下文话语间注意力表示O_c和所述角色嵌入RE_i输入至所述解码器层，计算词汇表中词的输出概率，输出概率最大的词。

2.根据权利要求1所述的一种能感知对话上下文相对位置信息的多轮对话文本生成方法，其特征在于，将所述上下文话语间注意力表示O_c和所述对话响应的注意力表示O_R输入至所述隐变量层，计算得到隐变量l，包括：

将所述上下文话语间注意力表示O_c和所述对话响应的注意力表示O_R连接在一起，通过激活函数tanh馈入一个两层前馈网络；

对前馈网络的输出进行线性变换来定义后验均值μ_posterior；

对前馈网络的输出进行不同的线性变换；

使用softplus函数定义后验协方差矩阵∑_posterior；

利用公式P_θ(l|u₀，...，u_n-1)＝N(μ_posterior，∑_posterior)，从多变量正态分布N(μ，∑)中采样隐变量1。