[发明专利]基于数据处理的模型训练方法、装置、终端及存储介质

权利要求书

1.一种基于数据处理的模型训练方法，其特征在于，包括：

基于至少一个虚拟对话系统产生的对话数据构建第一训练数据集，所述第一训练数据集包括至少一对对话语料，各对话语料按着预设顺序排列，每对对话语料包括一个虚拟语句和一个虚拟回复；

采用所述第一训练数据集对预设的原始模型进行根据输入对话确定生成回复的模型训练，得到训练后的模型；

根据所述训练后的模型和所述第一训练数据集，构建初始模型的模型框架，以确定所述初始模型；所述模型框架由环境、行为、状态空间、所述初始模型的奖励函数以及策略构成；其中，所述环境为所述训练后的模型，所述行为为所述训练后的模型根据所述第一训练数据集中的目标虚拟语句生成的第一生成回复，所述状态空间为所述第一训练数据集中的目标对话预料，所述策略用于指示输出所述训练后的模型生成的概率值最大的生成回复，所述初始模型的奖励函数和所述第一训练数据集用于在第一强化训练中确定所述初始模型的训练方向；

根据强化学习算法和所述第一训练数据集对所述初始模型进行所述第一强化训练，得到中间模型，其中，所述第一强化训练中的奖励函数采用所述初始模型的奖励函数；

基于至少一个真实对话系统产生的对话数据构建第二训练数据集，并根据所述强化学习算法和所述第二训练数据集对所述中间模型进行第二强化训练，得到目标模型，其中，所述第二强化训练中的奖励函数定义为1。

2.如权利要求1所述的方法，其特征在于，所述初始模型的奖励函数由至少一个奖励维度构成，所述奖励维度包括以下任一个维度：第一相似性维度、第二相似性维度、语义连贯性维度或者回复前瞻性维度；

其中，所述第一相似度维度是指模型生成的生成回复与万能回复之间的相似性的维度；所述第二相似性维度是指模型当前生成的生成回复与模型上一次生成的生成回复之间的相似性的维度；所述语义连贯性维度是指模型生成的生成回复的语义连贯性的维度；所述回复前瞻性维度是指统计模型生成的生成回复引导对话轮数的数量的维度。

3.如权利要求1或2所述的方法，其特征在于，所述预设的原始模型包括编码器模型和解码器模型，所述编码器模型和所述解码器模型为双向网络模型。

4.如权利要求3所述的方法，其特征在于，所述根据所述训练后的模型和所述第一训练数据集，构建初始模型的模型框架，包括：

将所述训练后的模型定义为所述初始模型的模型框架的环境，并根据所述训练后的模型生成的各生成回复所对应的概率分布确定所述初始模型的模型框架的策略，所述策略为将所述概率分布中概率值最大的生成回复作为待输出的目标回复的策略；

采用所述训练后的模型根据所述第一训练数据集中的目标虚拟语句生成第一生成回复，将所述第一生成回复定义为所述初始模型的模型框架的行为，所述目标虚拟语句为所述第一训练数据集中的任意一个虚拟语句；

从所述第一训练数据集中获取目标对话语料，并将所述目标对话语料定义为所述初始模型的模型框架的状态空间，所述目标对话语料为所述第一训练数据集中位于所述目标虚拟语句之前，且紧邻所述目标虚拟语句的对话语料。

5.如权利要求2所述的方法，其特征在于，所述根据强化学习算法和所述第一训练数据集对所述初始模型进行所述第一强化训练，得到中间模型，包括：

采用所述初始模型根据所述第一训练数据集中的目标虚拟语句生成第二生成回复，并根据所述目标虚拟语句和所述第二生成回复计算所述第一强化训练中的奖励函数的值，所述目标虚拟语句为所述第一训练数据集中的任意一个虚拟语句；

将所述第一强化训练中的奖励函数的值代入强化学习算法中，以得到损失函数的梯度值；

根据所述损失函数的梯度值更新所述初始模型的模型参数，并将模型参数更新后的初始模型作为中间模型。