[发明专利]基于强化学习模型对多个分类模型进行融合的方法和装置

权利要求书

1.一种基于强化学习模型对多个分类模型进行融合的方法，应用于智能客服中，其中每个分类模型针对第一对象输出基于多个预定类别进行分类的分类结果，所述第一对象为用户输入的问题，所述方法包括：

获取第一状态信息，所述第一状态信息包括所述多个分类模型各自的对所述第一对象的分类结果、以及当前强化学习模型对于所述多个预定类别中每个类别的分类准确率，其中，当前强化学习模型对于所述多个预定类别中每个类别的分类准确率基于所述强化学习模型已预测的最近的预定数目的问题的分类准确率确定；

将所述第一状态信息输入所述强化学习模型；

通过所述强化学习模型从所述多个预定类别中确定所述第一对象的类别，具体的，将用户输入的问题分类到多个类别中的第一类别中。

2.根据权利要求1所述的方法，其中，所述多个分类模型各自的对所述第一对象的分类结果以概率矩阵表示，其中，所述概率矩阵中第i行、第j列的元素表示所述多个分类模型中的第i个分类模型输出的所述第一对象属于所述多个预定类别中第j个预定类别的概率。

3.根据权利要求1所述的方法，其中，所述强化学习模型包括策略网络，其中，通过所述强化学习模型从所述多个预定类别中确定所述第一对象的类别包括，通过策略网络基于所述第一状态信息计算所述多个预定类别的各个类别的分类概率，并基于各个预定类别的分类概率，确定所述第一对象的类别。

4.根据权利要求3所述的方法，其中，所述强化学习模型还包括价值网络，所述方法还包括，在通过所述强化学习模型从所述多个预定类别中确定所述第一对象的类别之后，获取第二状态信息，所述第二状态信息包括所述多个分类模型各自的对所述第一对象的分类结果、以及当前强化学习模型对于所述多个预定类别中每个类别的分类准确率；获取与所述强化学习模型的该次分类对应的回报值；基于所述第一状态信息、第二状态信息以及所述回报值训练所述价值网络。

5.根据权利要求4所述的方法，还包括，在基于所述第一状态信息、第二状态信息以及所述回报值训练所述价值网络之后，基于所述第一回报值、所述价值网络相对于所述第一状态信息的输出、所述价值网络相对于所述第二状态信息的输出、所述第一状态信息、以及通过所述强化学习模型确定的所述第一对象的类别，训练所述策略网络。

6.根据权利要求4所述的方法，其中，与所述强化学习模型的该次分类对应的回报值基于该次分类是否正确而确定。

7.根据权利要求6所述的方法，其中，所述强化学习模型用于将用户的问题分类到相应类别，以使得与该相应类别对应的业务人员进行对所述问题的回复，其中由所述业务人员对该次分类是否正确进行标定。

8.根据权利要求4所述的方法，其中，与所述强化学习模型的该次分类对应的回报值基于所述强化学习模型在确定所述第一对象的类别之后的预定时段内的分类准确率确定。

9.一种基于强化学习模型对多个分类模型进行融合的装置，应用于智能客服中，其中每个分类模型针对第一对象输出基于多个预定类别进行分类的分类结果，所述第一对象为用户输入的问题，所述装置包括：

第一获取单元，配置为，获取第一状态信息，所述第一状态信息包括所述多个分类模型各自的对所述第一对象的分类结果、以及当前强化学习模型对于所述多个预定类别中每个类别的分类准确率，其中，当前强化学习模型对于所述多个预定类别中每个类别的分类准确率基于所述强化学习模型已预测的最近的预定数目的问题的分类准确率确定；

输入单元，配置为，将所述第一状态信息输入所述强化学习模型；

确定单元，配置为，通过所述强化学习模型从所述多个预定类别中确定所述第一对象的类别，具体的，将用户输入的问题分类到多个类别中的第一类别中。