[发明专利]对话预训练模型的训练方法及相关装置

权利要求书

1.一种对话预训练模型的训练方法，其特征在于，包括：

采用若干个第一领域的第一对话历史对神经网络进行训练，得到第一对话预训练模型，其中，所述第一对话历史标注有第一真实标签，所述第一真实标签包括至少一个对话任务，所述对话任务反映所述第一对话历史的语义逻辑；

采用多个第二领域的第二对话历史对所述第一对话预训练模型进行训练，得到第二对话预训练模型；所述第二对话历史标注有第二真实标签，所述第二真实标签与所述第一真实标签具有相同的结构，所述第二对话历史的数量小于所述第一对话历史的数量。

2.根据权利要求1所述的方法，其特征在于，所述采用若干个第一领域的第一对话历史对神经网络进行训练，得到第一对话预训练模型，包括：

将所述第一对话历史格式化，得到第一格式化序列；

将所述第一格式化序列，输入所述神经网络，所述神经网络基于第一数据库输出第一预测标签，其中，所述第一数据库是所述第一领域的问答数据库；

根据若干个所述第一预测标签和若干个所述第一真实标签之间的差异，调整所述神经网络的模型参数，直至极大似然函数最大化，得到所述第一对话预训练模型。

3.根据权利要求2所述的方法，其特征在于，所述将所述第一对话历史格式化，得到第一格式化序列，包括：

将所述第一对话历史和各个所述对话任务进行拼合处理，所述第一对话历史和各个所述对话任务中的任意两者之间插入有标识符以进行区分，得到所述第一格式化序列。

4.根据权利要求3所述的方法，其特征在于，所述第一真实标签包括真实对话状态，所述真实对话状态反映所述第一对话历史的话题特征；

所述极大似然函数包括第一极大似然函数，所述第一极大似然函数反映所述第一预测标签中的预测对话状态是所述真实对话状态的概率。

5.根据权利要求4所述的方法，其特征在于，所述第一真实标签还包括真实问题类别，所述真实问题类别反映所述第一对话历史中问题的所属类别；

所述极大似然函数还包括第二极大似然函数，所述第二极大似然函数反映所述第一预测标签中的预测问题类别是所述真实问题类别的概率。

6.根据权利要求5所述的方法，其特征在于，所述第一真实标签还包括真实回复，所述真实回复反映所述第一对话历史的真实答案；

所述极大似然函数还包括第三极大似然函数，所述第三极大似然函数反映所述第一预测标签中的预测回复是所述真实回复的概率。

7.根据权利要求6所述的方法，其特征在于，所述第三极大似然函数还反映所述第一预测标签中的预测回复不是所述真实回复的概率，以进行对比学习。

8.一种任务型对话模型的训练方法，其特征在于，包括：

获取某一对话任务对应的训练集；

采用所述训练集对对话预训练模型进行训练，得到所述任务型对话模型，其中，所述对话预训练模型是采用如权利要求1-7中任意一项对话预训练模型的训练方法训练得到。

9.一种对话回复生成方法，其特征在于，包括：

获取对话上文；

将所述对话上文输入至少一个任务型对话模型，所述至少一个任务型对话模型分别输出对话任务，得到至少一个对话任务；其中，所述至少一个任务型对话模型用于针对不同的对话任务进行预测，任意一个所述任务型对话模型是采用如权利要求8所述的方法训练得到；

根据所述至少一个对话任务，输出对话回复。

10.一种电子设备，其特征在于，包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器，其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9任一项所述的方法。

11.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使电子设备执行如权利要求1-9任一项所述的方法。