[发明专利]多任务模型训练方法、多任务预测方法及相关产品

权利要求书

1.一种多任务模型训练方法，其特征在于，所述多任务模型包括多个门网络、多个专家网络以及多个Tower网络，所述多个门网络与所述多个Tower网络一一对应；所述方法包括：

通过所述多个门网络中的每个门网络对训练数据进行处理，以从所述多个专家网络中获取与每个所述门网络对应的多个目标专家网络，以及获取每个所述门网络对应的多个目标专家网络的权重；

通过每个所述门网络对应的多个目标专家网络分别对所述训练数据进行特征提取，以得到与每个所述门网络对应的多个第一特征；

根据每个所述门网络对应的多个目标专家网络的权重，对每个所述门网络对应的多个第一特征进行加权，以得到与每个所述门网络对应的Tower网络的输入数据；

通过每个所述门网络对应的Tower网络，对每个所述门网络对应的Tower网络的输入数据进行任务预测，以得到每个所述门网络对应的Tower网络的任务预测结果；

根据每个所述门网络对应的多个目标专家网络的权重，以及所述多个Tower网络的任务预测结果，对所述多任务模型进行训练，具体包括：根据所述多个Tower网络中每个所述Tower网络的任务预测结果，确定每个所述Tower网络对应的第一损失；根据每个所述门网络对应的多个目标专家网络的权重，以得到与每个所述门网络对应的信息熵；根据每个所述门网络对应的Tower网络的第一损失和每个所述门网络对应的信息熵，确定与所述训练数据对应的目标损失；根据所述目标损失，对所述多任务模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述通过所述多个门网络中的每个所述门网络对训练数据进行处理，以从所述多个专家网络中获取与每个所述门网络对应的多个目标专家网络，以及获取每个所述门网络对应的多个目标专家网络的权重，包括：

对所述训练数据进行特征提取，以得到每个所述专家网络对应的概率；

基于每个所述专家网络对应的概率，从所述多个专家网络中获取与每个所述门网络对应的多个目标专家网络；

对每个所述门网络对应的多个目标专家网络的概率进行归一化，以得到每个所述门网络对应的多个目标专家网络的权重。

3.根据权利要求2所述的方法，其特征在于，所述多任务模型还包括多个噪声网络，其中，所述多个噪声网络与所述多个门网络一一对应；所述对所述训练数据进行特征提取，以得到每个所述专家网络对应的概率，包括：

通过每个所述门网络对所述训练数据进行特征提取，以得到第二特征；

通过每个所述门网络对应的噪声网络对所述训练数据进行特征提取，以得到第三特征；

通过每个所述门网络对应的噪声网络对所述第三特征添加噪声，以得到第四特征；

对所述第二特征和所述第四特征进行融合，以得到第五特征；

对所述第五特征进行处理，以得到每个所述专家网络对应的概率。

4.根据权利要求1-3中任一项所述的方法，其特征在于，根据每个门网络对应的Tower网络的第一损失和每个所述门网络对应的信息熵，确定与所述训练数据对应的目标损失之前，所述方法还包括：

根据每个所述门网络对应的多个目标专家网络的权重，确定每个所述门网络分别选择所述多个专家网络的概率；

根据每个所述门网络选择所述多个专家网络的概率，确定多个目标门网络中任意两个所述目标门网络选择所述多个专家网络的概率之间的分布差异，其中，所述多个目标门网络为所述多个门网络中的部分或全部；

所述根据每个所述门网络对应的Tower网络的第一损失和每个所述门网络对应的信息熵，确定与所述训练数据对应的目标损失，包括：

根据每个门网络对应的Tower网络的第一损失、每个所述门网络对应的信息熵、以及所述分布差异，确定与所述训练数据对应的目标损失。

5.根据权利要求4所述的方法，其特征在于，

任意两个所述目标门网络对应的两个Tower网络的任务预测之间的差异性大于阈值。

6.根据权利要求4所述的方法，其特征在于，

所述分布差异通过任意两个所述目标门网络选择所述多个专家网络的概率之间的KL散度、JS散度或者Wasserstein距离表征。