[发明专利]一种基于transformer架构的对话生成方法

权利要求书

1.一种基于transformer架构的对话生成方法，其特征在于，包括如下步骤：

步骤1：将对话上文以及背景知识中的词映射为词嵌入，位置嵌入，分割嵌入，进一步得到词向量化表示；

步骤2：将对话上文以及背景知识的词向量化表示输入到BERT模型，分别得到对话上文以及背景知识对应的语义表示；

步骤3：基于对话上文以及背景知识对应的语义表示，进一步做阅读理解任务，计算背景知识中符合当前语境的概率分布；

步骤4：基于对话上文以及背景知识对应的语义表示以及背景知识中符合当前语境的概率分布，进一步做文本生成任务，通过多头注意力机制结合背景知识中符合当前语境的概率分布得到综合语义向量，根据综合语义向量结合复制机制生成回复；

所述步骤4中具体为：

将步骤1中所述回复Y向量化表示为E(Y)，并输入到l层transformer解码器中进行训练，transformer解码器由三个子层构成包括：

第一个子层为掩码多头自注意力层，按照如下公式得到第一个子层的输出：

其中S^0，1＝E(Y),S^j，1为解码器第一个子层的隐状态，j为第j个解码器；

第二个子层为编码器-解码器多头自注意力层，按照如下公式得到第二个子层的输出：

其中，α是注意力权重，S^j，2为解码器第二个子层的隐状态，j为第j个解码器，C为编码器隐状态；

第三个子层为位置全连接的前馈神经网络，按照如下公式得到transformer解码器的输出：

其中,GLUE为激活函数，S^j，3为解码器第三个子层的隐状态，j为第j个解码器，W,b分别为待训练的权重和偏置；

相邻的两个子层间还包括一个层归一化和残差连接操作；

将transformer解码器输出输入到生成器中，然后计算以下概率及概率分布：

计算回复中的下一个词从对话上文中拷贝的概率分布为：

回复中的下一个词从背景知识中拷贝的概率分布为：

其中，α_t，i是注意力权重为第t个解码步骤时第i个词对应的注意力权重；

计算综合拷贝概率分布：

其中，[CLS]_X为对话上文整体标记，[CLS]_K为知识整体标记,为解码器在第t个解码步骤时第二个子层的隐状态，为编码器在第t个解码步骤时的隐状态，α′_t，i为T_iα_t，i归一化后的结果；

计算下一个词是生成的概率：

其中，σ为sigmiod函数，W,b分别为待训练的权重和偏置，T为转置操作，为解码器在第t个解码步骤时第二个子层的隐状态，为解码器在第t个解码步骤时第三个子层的隐状态，E(y_t)为第t个解码步骤时回复词的语义表示；

计算回复中的下一个词是从词典中生成的概率分布：

其中，V,b分别为待训练的权重和偏置，为解码器在第t个解码步骤时第二个子层的隐状态，为解码器在第t个解码步骤时第三个子层的隐状态；计算综合概率分布：

P(w)＝p_genP_vocab(w)+(1-p_gen)P_copy(w)(15)

其中，P_vocab(w)为下一个词是从词典中生成的概率分布，P_copy(w)为综合拷贝概率分布，p_gen为下一个词是生成的概率；

选取最高综合概率对应的词依次输出作为回复。