[发明专利]基于强化学习模型对多个分类模型进行融合的方法和装置

说明书

本说明书实施例提供了一种基于强化学习模型对多个分类模型进行融合的方法和装置，其中每个分类模型针对第一对象输出基于多个预定类别进行分类的分类结果，所述方法包括：获取第一状态信息，所述第一状态信息包括所述多个分类模型各自的对所述第一对象的分类结果、以及当前强化学习模型对于所述多个预定类别中每个类别的分类准确率；将所述第一状态信息输入所述强化学习模型；通过所述强化学习模型从所述多个预定类别中确定所述第一对象的类别。

技术领域

本说明书实施例涉及机器学习技术领域，更具体地，涉及一种基于强化学习模型对多个分类模型进行融合的方法和装置。

背景技术

模型融合在IT互联网工业界中有着非常广泛的应用。在用分类模型解决实际问题时，通过单个分类模型通常不能取得最好的整体效果，或者不能在每个方面都取得很好的效果。此时，可通过融合多个分类模型得到最终的分类结果，从而可利用其中每个模型的优点，通常将这种用于融合多个模型的模型称为“融合模型”。传统的融合模型包括Stacking、Boost ing、Bagging、Blending等。这些模型都需要离线训练，并且只能对单个样本的标注进行训练。

因此，需要一种更有效的对多个分类模型进行融合的方案。

发明内容

本说明书实施例旨在提供一种更有效的对多个分类模型进行融合的方案，以解决现有技术中的不足。

为实现上述目的，本说明书一个方面提供一种基于强化学习模型对多个分类模型进行融合的方法，其中每个分类模型针对第一对象输出基于多个预定类别进行分类的分类结果，所述方法包括：

获取第一状态信息，所述第一状态信息包括所述多个分类模型各自的对所述第一对象的分类结果、以及当前强化学习模型对于所述多个预定类别中每个类别的分类准确率；

将所述第一状态信息输入所述强化学习模型；

通过所述强化学习模型从所述多个预定类别中确定所述第一对象的类别。

在一个实施例中，所述多个分类模型各自的对所述第一对象的分类结果以概率矩阵表示，其中，所述概率矩阵中第i行、第j列的元素表示所述多个分类模型中的第i个分类模型输出的所述第一对象属于所述多个预定类别中第j个预定类别的概率。

在一个实施例中，所述当前强化学习模型对于所述多个预定类别中每个类别的分类准确率基于所述强化学习模型在过去预定时段内对于样本中每个类别的分类准确率获取。

在一个实施例中，所述强化学习模型包括策略网络，其中，通过所述强化学习模型从所述多个预定类别中确定所述第一对象的类别包括，通过策略网络基于所述第一状态信息计算所述多个预定类别的各个类别的分类概率，并基于各个预定类别的分类概率，确定所述第一对象的类别。

在一个实施例中，所述强化学习模型还包括价值网络，所述方法还包括，在通过所述强化学习模型从所述多个预定类别中确定所述第一对象的类别之后，获取第二状态信息，所述第二状态信息包括所述多个分类模型各自的对所述第一对象的分类结果、以及当前强化学习模型对于所述多个预定类别中每个类别的分类准确率；获取与所述强化学习模型的该次分类对应的回报值；基于所述第一状态信息、第二状态信息以及所述回报值训练所述价值网络。

在一个实施例中，所述方法还包括，在基于所述第一状态信息、第二状态信息以及所述回报值训练所述价值网络之后，基于所述第一回报值、所述价值网络相对于所述第一状态信息的输出、所述价值网络相对于所述第二状态信息的输出、所述第一状态信息、以及通过所述强化学习模型确定的所述第一对象的类别，训练所述策略网络。

在一个实施例中，与所述强化学习模型的该次分类对应的回报值基于该次分类是否正确而确定。

在一个实施例中，所述强化学习模型用于将用户的问题分类到相应类别，以使得与该相应类别对应的业务人员进行对所述问题的回复，其中由所述业务人员对该次分类是否正确进行标定。