[发明专利]一种基于对话系统对用户问句提出反问的方法和装置

说明书

本说明书实施例提供了一种基于对话系统对用户问句提出反问的方法和装置，所述对话系统中包括强化学习模型，所述方法包括：获取基于对话系统的第一对话回合，所述第一对话回合中包括T轮对话；获取与所述第一对话回合对应的T个状态；获取与所述T轮对话中包括的多个反问句分别对应的多个反馈分数向量，所述反馈分数向量包括的多个维度与多个预定特征分别对应；基于所述T个状态、所述多个反问句以及所述多个反馈分数向量，训练所述强化学习模型，以用于基于所述强化学习模型对用户问句提出反问。

技术领域

本说明书实施例涉及对话系统技术领域，更具体地，涉及一种基于对话系统对用户问句提出反问的方法和装置。

背景技术

最近，人们越来越关注如何用机器学习来更好地构建对话系统。对话系统通过计算机算法实现人与机器的交流，包括问答型、任务型和闲聊型三个类型。对于上述几种类型的对话系统，通常由用户提出问题，并由对话系统进行回复。在一些情况中，用户提出的问题往往是模糊的，对话系统很难直接从标问库中找到匹配的标准问题、并基于该标准问题的答案进行回复。在该情况中，需要由对话系统对用户提出反问，以明确用户的问题，从而便于找到匹配的标准问题。在现有技术中，用于对用户问句提出反问的模型通常采用监督学习模型，如RNN模型等，这些模型的训练样本通常在线下获得。但是系统最终需要通过上线来服务用户，一个提高对话系统能力的思路是基于强化学习模型进行在线学习。然而，在将强化学习模型用于自然语言处理中时，通常反馈较稀疏，用于训练模型的数据量不够，并且强化学习模型初始的预测能力较差，使得在启动该强化学习模型时会使得用户体验较差，影响业务的发展。

因此，需要一种更有效的基于对话系统对用户问句提出反问的方案。

发明内容

本说明书实施例旨在提供一种更有效的基于对话系统对用户问句提出反问的方案，以解决现有技术中的不足。

为实现上述目的，本说明书一个方面提供一种基于对话系统对用户问句提出反问的方法，所述对话系统中包括强化学习模型，所述方法包括：

获取基于对话系统的第一对话回合，所述第一对话回合中包括T轮对话，其中，所述T轮对话中的第t轮对话包括输入所述对话系统的第t轮问句及由所述强化学习模型输出的第t轮的预定数目的反问句；

获取与所述第一对话回合对应的T个状态，其中，第t个状态包括所述第t轮问句、由所述强化学习模型在所述第一对话回合的第t轮对话之前已输出的反问句；

获取与所述T轮对话中包括的多个反问句分别对应的多个反馈分数向量，所述反馈分数向量包括的多个维度与多个预定特征分别对应；

基于所述T个状态、所述多个反问句以及所述多个反馈分数向量，训练所述强化学习模型，以用于基于所述强化学习模型对用户问句提出反问。

在一个实施例中，所述多个预定特征包括：与相应问句的相关性、与相应对话回合的话题的一致性、对相应对话回合的延续性、相对于同一轮反问句的多样性。

在一个实施例中，所述方法还包括，在获取与所述T轮对话中包括的多个反问句分别对应的多个反馈分数向量之后，基于预定权重向量和所述多个反馈分数向量获取与多个反问句分别对应的多个收益值。

在一个实施例中，所述反馈分数向量的各个维度值为1或0。

在一个实施例中，其中所述强化学习模型为以下任一种模型：策略梯度模型、Q学习模型、行为-评判模型。

在一个实施例中，获取基于对话系统的第一对话回合包括，离线获取第一用户与对话系统的第一对话回合，其中，所述第t轮问句由所述第一用户输入所述对话系统。

在一个实施例中，所述对话系统中还包括排序模型，所述方法还包括，