[发明专利]一种集成多任务模型的方法和装置

说明书

本说明书实施例提供了一种集成多任务模型的方法和装置，所述多任务模型当前包括与n个子任务分别对应的n个子模型，所述方法包括：基于预设的m个子网络，获取多个候选模型，每个候选模型通过将所述m个子网络中的一个子网络添加到所述多任务模型的n个子模型中至少一个子模型中而获取，其中，所述m个子网络具有不同的网络结构；使用预先准备的多个训练样本分别训练多个候选模型；使用预先准备的多个评估样本分别评估多个经训练的候选模型和当前的多任务模型；基于对各个候选模型和当前多任务模型的评估，在多个候选模型中的至少一个候选模型优于当前的多任务模型的情况中，从多个候选模型中确定最优候选模型作为更新的多任务模型。

技术领域

本说明书实施例涉及机器学习技术领域，更具体地，涉及一种集成多任务模型的方法和装置。

背景技术

随着人工智能应用场景的增多，越来越多的子任务出现，导致了多任务学习(MTL)模型的兴起。给定m个学习任务，其中所有或一部分任务是相关但并不完全一样的，多任务学习的目标是通过使用这m个任务中包含的知识来帮助提升各个任务的性能。但是随着数据越来越多，场景越来越复杂，深度学习模型中的网络结构和其中的网络参数也越来越多。这样使得现在大部分的算法工程师都在设计深度学习模型中的网络结构以及调试其中参数。尤其在多任务学习中，随着任务的增多，任务之间共性和个性的平衡性，导致了其模型的复杂度急剧增加。这样耗费了大量的人力和物力，带来较大的成本。

因此，需要一种更有效的集成多任务模型的方案。

发明内容

本说明书实施例旨在提供一种更有效的集成多任务模型的方案，以解决现有技术中的不足。

为实现上述目的，本说明书一个方面提供一种集成多任务模型的方法，所述多任务模型当前包括与n个子任务分别对应的n个子模型，所述方法包括：

基于预设的m个子网络，获取多个候选模型，每个候选模型通过将所述m个子网络中的一个子网络添加到所述多任务模型的n个子模型中至少一个子模型中而获取，其中，所述m个子网络具有不同的网络结构；

使用预先准备的多个训练样本分别训练所述多个候选模型，其中，每个训练样本包括样本特征、与n个子任务分别对应的n个标签值；

使用预先准备的多个评估样本分别评估所述多个经训练的候选模型和当前的多任务模型，其中，每个评估样本包括样本特征、与n个子任务分别对应的n个标签值；

基于对各个候选模型和当前多任务模型的评估，在所述多个候选模型中的至少一个候选模型优于所述当前的多任务模型的情况中，从所述多个候选模型中确定最优候选模型作为更新的多任务模型。

在一个实施例中，每个子网络具有其预定层数、每层的预定神经元数、以及预定的每层与上一层的连接方式。

在一个实施例中，所述多个候选模型包括m*(2ⁿ-1)个候选模型。

在一个实施例中，使用预先准备的多个评估样本分别评估所述多个经训练的候选模型和当前的多任务模型包括，基于以下任一评估指标评估所述多个经训练的候选模型和当前的多任务模型：模型预测损失、AUC、准确率、精确率、召回率。

在一个实施例中，使用预先准备的多个训练样本分别训练所述多个候选模型包括，基于第一损失函数，使用预先准备的多个训练样本分别训练所述多个候选模型，其中，对于每个候选模型，所述第一损失函数中包括该候选模型中包括的各个子模型的预测损失。

在一个实施例中，所述第一损失函数中还包括与该候选模型中包括的每个子模型相关的正则项。

在一个实施例中，所述n个子任务包括预测商品点击率的第一任务和预测商品转换率的第二任务。

在一个实施例中，在每个候选模型中，所述添加的子网络与其所属的子模型之间的连接关系为预定多个连接关系中的一种。