[发明专利]智能人机对话模型训练方法、模型训练装置及电子设备

说明书

本申请提供了一种智能人机对话模型训练方法、装置、电子设备及计算机可读存储介质，该方法包括：获取当前轮次的用户语句及前一轮次的系统语句，拼接并输入至BERT模型中，得到当前对话矩阵；将当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量；对会话语义向量进行第一线性变换得到意图向量，并对会话语义向量进行第二线性变换得到对话行为向量；根据意图向量计算得到意图损失，并根据对话行为向量计算得到对话行为损失；基于意图损失及对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新。本申请方案融合了BERT模型及GRU模型来编码历史记忆，并在语义解析时融合了前一轮的系统语句，可以得到准确度更高的语义解析模型。

技术领域

本申请属于人工智能技术领域，尤其涉及一种智能人机对话模型训练方法、模型训练装置、电子设备及计算机可读存储介质。

背景技术

随着技术的发展，人机对话交互系统得到了日益广泛的应用，为了实现自动化的人机对话，计算机需要从用户输入的文字中解析出蕴含的意图、对话行为类别，并抽取出其中的关键词，来制定相应的答复策略。近些年来，随着深度学习技术的发展及计算机运算能力的提升，人们开始将深度学习技术应用在人机对话系统当中。然而，当前处理基于多轮会话的多任务语义解析这一任务的代表模型仍存在准确率不高等问题，无法满足人们的需求。

发明内容

本申请实施例提供了一种智能人机对话模型训练方法、模型训练装置、电子设备及计算机可读存储介质，可获得准确度更高的语义解析模型。

第一方面，本申请提供了一种智能人机对话模型训练方法，包括：

获取当前轮次的用户语句及前一轮次的系统语句；

将上述用户语句及上述系统语句拼接并输入至BERT模型中，得到当前对话矩阵；

将上述当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量，其中，上述会话语义向量基于上述第一双向GRU模型在第一方向上的第一输出结果及第二方向上的第二输出结果拼接而得，上述第一双向GRU模型的初始隐藏层基于其它语句而构建，上述其它语句为除上述系统语句之外的历史轮次的语句；

对上述会话语义向量进行第一线性变换得到意图向量，并对上述会话语义向量进行第二线性变换得到对话行为向量；

根据上述意图向量计算得到意图损失，并根据上述对话行为向量计算得到对话行为损失；

基于上述意图损失及上述对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新。

第二方面，本申请提供了一种智能人机对话模型训练装置，包括：

语句获取单元，用于获取当前轮次的用户语句及前一轮次的系统语句；

对话矩阵获取单元，用于将上述用户语句及上述系统语句拼接并输入至BERT模型中，得到当前对话矩阵；

会话语义向量获取单元，用于将上述当前对话矩阵输入至待训练的第一双向GRU模型中，得到会话语义向量，其中，上述会话语义向量基于上述第一双向GRU模型在第一方向上的第一输出结果及第二方向上的第二输出结果拼接而得，上述第一双向GRU模型的初始隐藏层基于其它语句而构建，上述其它语句为除上述系统语句之外的历史轮次的语句；

线性变换单元，用于对上述会话语义向量进行第一线性变换得到意图向量，并对上述会话语义向量进行第二线性变换得到对话行为向量；

损失计算单元，用于根据上述意图向量计算得到意图损失，并根据上述对话行为向量计算得到对话行为损失；

参数更新单元，用于基于上述意图损失及上述对话行为损失进行反向传播，对各个待训练的模型的模型参数进行更新。