[发明专利]一种基于信息熵动态赋权的多任务学习自适应平衡方法

说明书

本发明公开了一种基于信息熵动态赋权的多任务学习方法，属于机器学习技术领域。首先搭建初始多任务学习模型M，对输入图像进行模型推断得到多种任务输出图，对其分别进行归一化处理，得到对应的归一化概率图；然后，利用各归一化概率图计算固定权重多任务损失函数，对多任务学习模型M进行初步训练；最后，在初步训练后的多任务学习模型M基础上，通过信息熵动态赋权算法构建最终的自适应多任务损失函数，对初步训练后的多任务学习模型进行迭代优化训练，直至多任务学习模型达到收敛，终止训练，获得优化后的多任务学习模型M1。本发明可以有效应对不同类型任务，自适应平衡各个任务相对重要性，算法适用性强，简洁高效。

技术领域

本发明属于机器学习技术领域，具体涉及一种基于信息熵动态赋权的多任务学习自适应平衡方法。

背景技术

机器学习通过经验知识改善计算机算法的性能以实现智能自主的学习工作，是人工智能的核心技术之一。但机器学习技术通常需要大量的学习样本，尤其是最近广为流行的深度学习模型通常需要海量标记样本来训练网络。然而，在很多应用中，训练样本的某些任务标签很难收集或者人工标注比较费时费力。在这种情况下，可以利用多任务学习来最大化地利用每个任务中有限的训练样本。

多任务学习旨在联合学习多个相关的任务来提升每个任务的泛化性能，在自然语言处理和计算机视觉等领域得到了广泛的应用。其中每个任务可以是一般的学习任务，例如有监督的任务(例如分类或回归问题)、非监督任务(例如聚类问题)、强化学习任务或者多视图学习任务等等。

近年来，深度学习极大地提升了各种计算机视觉任务的性能，而多任务学习在一个模型中联合学习多个任务从而获得较好的泛化性能和较低的内存占用，两者的结合即深度多任务学习研究取得了巨大的进展。但目前深度多任务学习仍然存在以下几个问题：(1)不同子任务之间信息交流不够充分而难以完全发挥多任务学习的优势；(2)现有大多数MTL研究的损失函数通常由子任务的损失线性加权得到，其依赖于人为经验而缺乏适应性。

当前的深度多任务学习研究主要集中在网络结构和优化策略方面的设计：

网络结构研究上，在深度神经网络中进行多任务学习机制主要有两种方式，即硬参数分享和软参数分享。其中，硬参数分享通常在所有任务之间共享隐藏层，同时保留多个特定于任务的输出层。由于同时学习的任务越多，模型越需要找到适用于所有任务的表达，所以硬参数分享大大降低了过拟合的风险。另一方面，软参数分享中，每一个任务都有自己的模型和对应参数，然后对模型参数距离进行正则化调整以增大参数的相度。

优化策略研究上，大多数多任务学习相关工作都简单地将各个任务的权重设置为固定比例，但这种方式严重依赖于人为经验，且在某些情况下，不合适的权重可能导致某些子任务无法正常工作。因此，不同于设计多任务分享模型的结构，另一部分研究着力于平衡不同任务对网络的影响，包括不确定性权重、梯度归一化算法和动态权重平均策略等研究。

综上所述，由于多任务模型包含有多种学习任务，如何自适应地平衡不同任务间的重要性具有重要的研究意义。

发明内容

本发明为了提高多任务学习模型的泛化性，通过对不同任务的特点及多任务模型应用的需求分析，在模型优化策略上设计了一种基于信息熵动态赋权的多任务学习自适应平衡方法，即在模型训练过程中动态调整各个任务损失函数的相对权重，实现多任务学习模型的自适应训练与准确预测。

所述的基于信息熵动态赋权的多任务学习自适应平衡方法，具体步骤如下：

步骤一，搭建多任务学习模型M，通过当前多任务学习模型M对输入图像进行模型推断和归一化处理，得到不同类型的归一化概率图；

初始多任务学习模型M包含一个共享编码器和三个任务特定解码器。