[发明专利]一种对话策略模型训练、对话的方法和系统

权利要求书

1.一种对话策略模型训练方法，所述方法包括：

基于多轮历史对话，确定第一训练数据以及第二训练数据；其中，所述第一训练数据中的第一训练样本包括样本对话上文和样本对话策略；所述第二训练数据中的第二训练样本至少包括样本对话上文、样本对话策略以及相应的目标奖励值；

使用所述第一训练数据对对话策略模型进行第一阶段训练，使得所述对话策略模型能够基于对话上文输出与之对应的对话策略，进而获得所述对话策略模型的第一模型参数；

使用所述第二训练数据对经过第一阶段训练后的对话策略模型进行第二阶段训练，调整所述第一模型参数，使得所述对话策略模型基于对话上文输出的对话策略能够与预设对话目标适配，进而获得所述对话策略模型的第二模型参数。

2.根据权利要求1所述的方法，所述对话策略模型为多分类模型，其输入包括对话上文，输出包括对应于两个或以上对话策略的概率值。

3.根据权利要求1所述的方法，所述第一训练数据包括第一训练正样本和第一训练负样本；其中，所述第一训练正样本中的样本对话策略为历史对话中对应于该样本中的样本对话上文的对话策略；所述第一训练负样本中的样本对话策略为非历史对话中对应于该样本中的样本对话上文的对话策略。

4.根据权利要求3所述的方法，基于多轮历史对话，确定第一训练数据，包括：

从多轮历史对话中提取客服话术，并将提取得到的客服话术聚类为一组或多组；

基于聚类得到的一组或多组客服话术，确定一个或多个对话策略；

将所述多轮历史对话中的客服话术替换为对应的对话策略；

将客服话术替换为对话策略后的多轮历史对话按轮进行拆分，得到多个第一训练正样本。

5.根据权利要求1所述的方法，第二训练样本中的样本对话策略为历史对话中对应于该样本中的样本对话上文的对话策略，所述第二训练样本还包括历史对话中对应于该样本中的样本对话上文的下一轮样本对话上文以及下一轮样本对话策略。

6.根据权利要求5所述的方法，基于多轮历史对话，确定第二训练数据，包括：

从多轮历史对话中提取客服话术，并将提取得到的客服话术聚类为一组或多组；

基于聚类得到的一组或多组客服话术，确定一个或多个对话策略；

将所述多轮历史对话中的客服话术替换为对应的对话策略；

将客服话术替换为对话策略后的多轮历史对话按轮进行拆分；

从拆分后的多轮历史对话中获取对话上文、其对应的对话策略、其对应的下一轮对话上文以及该下一轮对话上文对应的对话策略，分别作为第二训练样本中的样本对话上文、样本对话策略、下一轮样本对话上文以及下一轮样本对话策略。

7.根据权利要求5所述的方法，所述使用第二训练数据对经过第一阶段训练后的对话策略模型进行第二阶段训练，调整所述第一模型参数，使得所述对话策略模型基于对话上文输出的对话策略能够与预设对话目标适配，进而获得所述对话策略模型的第二模型参数，包括：

使用经过第一阶段训练后的对话策略模型处理第二训练样本中的样本对话上文，获得对应于该样本中的样本对话策略的第一概率值；

使用经过第一阶段训练后的对话策略模型处理第二训练样本中的下一轮样本对话上文，获得对应于该样本中的下一轮样本对话策略的第二概率值；

构造目标函数，所述目标函数反映目标奖励值与第二概率值的合值与第一概率值的差异；

调整第一模型参数，以使得所述目标函数最小化，进而获得所述对话策略模型的第二模型参数。

8.根据权利要求1所述的方法，所述对话策略模型包括BERT模型。

9.根据权利要求1所述的方法，所述第一训练样本和/或第二训练样本还包括样本对话上文对应用户的用户信息。