[发明专利]对话生成模型的训练方法、对话方法、设备以及存储介质

权利要求书

1.一种对话生成模型的训练方法，其特征在于，所述方法包括：

构建对话生成模型和至少一个辅助模型；其中，所述对话生成模型和所述辅助模型的参数不同；所述对话生成模型包括第一对话编码器、第一对话记忆网络、第一知识库记忆网络和第一解码器，所述辅助模型包括辅助对话模型和辅助知识库模型；所述辅助对话模型包括第二对话编码器、第二对话记忆网络和第二解码器；所述辅助知识库模型包括第三对话编码器、第二知识库记忆网络和第三解码器；

将训练样本输入至所述第一对话编码器，以使所述第一对话编码器对所述训练样本进行编码，得到第一向量；将所述第一向量输入至所述第一对话记忆网络进行训练，得到第二向量，以及将所述第一向量输入至所述第一知识库记忆网络进行训练，得到第三向量；将所述第一向量、所述第二向量和所述第三向量输入至所述第一解码器，得到第一回复信息；基于所述第一回复信息和所述训练样本的真实信息进行计算，得到所述对话生成模型的第一匹配损失；

将所述训练样本输入至所述第二对话编码器，以使所述第二对话编码器对所述训练样本进行编码，得到第四向量；将所述第四向量输入至所述第二对话记忆网络进行训练，得到第五向量；将所述第四向量和所述第五向量输入至所述第二解码器，得到第二回复信息；基于所述第二回复信息和所述第一回复信息进行计算，得到所述辅助对话模型的第一辅助匹配损失；

将所述训练样本输入至所述第三对话编码器，以使所述第三对话编码器对所述训练样本进行编码，得到第六向量；将所述第六向量输入至所述第二知识库记忆网络进行训练，得到第七向量；将所述第六向量和所述第七向量输入至所述第三解码器，得到第三回复信息；基于所述第三回复信息和所述第一回复信息进行计算得到所述辅助知识库模型的第二辅助匹配损失；

基于所述第一匹配损失、所述第一辅助匹配损失和所述第二辅助匹配损失进行计算，得到第二匹配损失；

利用所述第二匹配损失对所述对话生成模型进行梯度更新，以更新所述对话生成模型的参数，以得到最终的对话生成模型。

2.根据权利要求1所述的训练方法，其特征在于，

所述将所述第一向量、所述第二向量和所述第三向量输入至所述第一解码器，得到第一回复信息，包括：

计算所述第一向量在词汇表上的第一分布；所述词汇表根据训练样本生成；

获取所述第二向量对应的第一概率；

获取所述第三向量对应的第二概率；

根据所述第一分布、所述第一概率和所述第二概率进行计算，得到所述第一回复信息的第二分布。

3.根据权利要求2所述的训练方法，其特征在于，

所述根据所述第一分布、所述第一概率和所述第二概率进行计算，得到所述第一回复信息的第二分布，包括：

根据以下公式计算得到所述第二分布：

P_θ(y_t)＝g₁P_v(y_t)+(1-g₁)[g₂P_d(y_t)+(1-g₂)P_kb(y_t)]；

其中，g₁表示第一控制参数，g₂表示第二控制参数，P_v(y_t)表示所述第一分布，P_d(y_t)表示所述第一概率，P_kb(y_t)表示所述第二概率。

4.根据权利要求1所述的训练方法，其特征在于，

所述基于所述第二回复信息和所述第一回复信息进行计算，得到所述辅助对话模型的第一辅助匹配损失，包括：

根据以下公式计算得到所述第一辅助匹配损失：

其中，表示所述第二回复信息的概率，P_θ(y_t)表示所述第一回复信息的第二分布，l_ce表示交叉熵函数，T表示所述训练样本中的对话数量，θ表示所述对话生成模型的参数，φ_d表示所述辅助对话模型的参数。