[发明专利]一种基于对话系统对用户问句提出反问的方法和装置

权利要求书

1.一种基于对话系统对用户问句提出反问的方法，所述对话系统中包括强化学习模型，所述方法包括：

获取基于对话系统的第一对话回合，所述第一对话回合中包括T轮对话，其中，所述T轮对话中的第t轮对话包括输入所述对话系统的第t轮问句及由所述强化学习模型输出的第t轮的预定数目的反问句；

获取与所述第一对话回合对应的T个状态，其中，第t个状态包括所述第t轮问句、由所述强化学习模型在所述第一对话回合的第t轮对话之前已输出的反问句；

获取与所述T轮对话中包括的多个反问句分别对应的多个反馈分数向量，所述反馈分数向量包括的多个维度与多个预定特征分别对应；

基于所述T个状态、所述多个反问句以及所述多个反馈分数向量，训练所述强化学习模型，以用于基于所述强化学习模型对输入所述对话系统的用户问句提出反问，从而明确所述用户问句。

2.根据权利要求1所述的方法，其中，所述多个预定特征包括：与相应问句的相关性、与相应对话回合的话题的一致性、对相应对话回合的延续性、相对于同一轮反问句的多样性。

3.根据权利要求2所述的方法，还包括，在获取与所述T轮对话中包括的多个反问句分别对应的多个反馈分数向量之后，基于预定权重向量和所述多个反馈分数向量获取与多个反问句分别对应的多个收益值。

4.根据权利要求2所述的方法，其中，所述反馈分数向量的各个维度值为1或0。

5.根据权利要求1所述的方法，其中所述强化学习模型为以下任一种模型：策略梯度模型、Q学习模型、行为-评判模型。

6.根据权利要求1所述的方法，其中，获取基于对话系统的第一对话回合包括，离线获取第一用户与对话系统的第一对话回合，其中，所述第t轮问句由所述第一用户输入所述对话系统。

7.根据权利要求1所述的方法，其中，所述对话系统中还包括排序模型，所述方法还包括，

在获取所述回合的T个状态之后，对于所述T轮对话中的每轮对话，获取与该轮对话中包括的预定反问句对对应的反馈分数向量，所述反馈分数向量包括的多个维度与多个预定特征分别对应，其中，与所述预定反问句对对应的反馈分数向量的每个维度的值基于以下两项确定：该反问句对包括的两个反问句在该维度上的比较结果、以及该两个反问句的预定排列顺序；

基于所述T个状态、每个所述预定反问句对、与每个所述预定反问句对对应的反馈分数向量训练所述排序模型，以用于基于所述强化学习模型和所述排序模型对用户问句提出反问。

8.根据权利要求7所述的方法，其中，所述多个维度包括一致性维度，所述多个反问句对包括第一反问句对，所述第一反问句对包括第一反问句和第二反问句，所述第一反问句的预定排列顺序排在所述第二反问句之前，在所述第一反问句的一致性优于所述第二反问句的一致性的情况中，与所述第一反问句对对应反馈分数向量中的一致性维度的值为1，在所述第一反问句的一致性差于所述第二反问句的一致性的情况中，与所述第一反问句对对应反馈分数向量中的一致性维度的值为-1。

9.一种基于对话系统对用户问句提出反问的装置，所述对话系统中包括强化学习模型，所述装置包括：

第一获取单元，配置为，获取基于对话系统的第一对话回合，所述第一对话回合中包括T轮对话，其中，所述T轮对话中的第t轮对话包括输入所述对话系统的第t轮问句及由所述强化学习模型输出的第t轮的预定数目的反问句；

第二获取单元，配置为，获取与所述第一对话回合对应的T个状态，其中，第t个状态包括所述第t轮问句、由所述强化学习模型在所述第一对话回合的第t轮对话之前已输出的反问句；

第三获取单元，配置为，获取与所述T轮对话中包括的多个反问句分别对应的多个反馈分数向量，所述反馈分数向量包括的多个维度与多个预定特征分别对应；

第一训练单元，配置为，基于所述T个状态、所述多个反问句以及所述多个反馈分数向量，训练所述强化学习模型，以用于基于所述强化学习模型对输入所述对话系统的用户问句提出反问，从而明确所述用户问句。