[发明专利]一种缓解多任务学习中任务冲突方法、装置及存储介质

说明书

本发明公开了一种缓解多任务学习中任务冲突的方法、装置及存储介质，所述方法获取待缓解多任务学习模型中各个学习任务的梯度值；判断各学习任务中选定学习任务与其余各学习任务之间是否存在任务冲突，在判定存在任务冲突时对选定学习任务的梯度值进行修剪，并将选定学习任务的梯度值更新为修剪后的梯度值，在选定学习任务的梯度值更新执行完毕后重新选定一学习任务作为选定学习任务重复执行梯度值更新，直至模型中所有学习任务的梯度值更新完毕，计算所有学习任务完成梯度值更新后的梯度值的平均值，获得平均梯度值，根据平均梯度值对模型的网络参数进行更新。通过实施本发明能在实现缓解任务冲突同时保持各个任务训练均衡。

技术领域

本发明涉及计算机技术领域，尤其涉及一种缓解多任务学习中任务冲突方法、装置及存储介质。

背景技术

深度学习在各个领域已经取得了不错的成绩，但是目前的人工智能依赖于海量数据的训练，模型泛化能力不佳，在有限数据领域下的效果和快速拓展到新任务的能力都不尽人意。针对这个问题，一些研究者提出多任务学习方法(MTL，Multi-Task Learning)来解决这个问题。多任务学习方法能够联合多个任务一起学习，一些数据有限的任务能够利用其他任务共享的信息进行训练，从而提高任务的表现。

基于优化的多任务学习方法是现有的多任务学习方法中的一种；而现有基于优化的多任务学习方法中，当任务梯度发生冲突或者任务被其他较大梯度的任务支配时，通常是通过设计不同的策略来调整各个任务loss的权重，对于训练比较快的任务，降低其权重，减少模型对其的关注程度，让模型多关注那些没有训练充分的任务，从而实现缓解任务训练的不平衡。但是通过调整各任务loss权重来平衡任务训练，会导致某些任务被其他任务所支配，从而得不到充分训练，无法实现各个任务训练均衡，进而降低了模型的整体性能。

发明内容

本发明实施例提供一种缓解多任务学习中任务冲突的方法及装置，能在实现多任务模型中各个任务训练均衡的同时缓解任务冲突。

本发明一实施例提供一种缓解多任务学习中任务冲突的方法，包括：

获取待缓解多任务学习模型中各个学习任务的梯度值；

任意选取一学习任务作为选定学习任务，根据所述选定学习任务执行梯度值更新；其中，所述梯度值更新具体包括：根据所述选定学习任务的梯度值以及其余各学习任务的梯度值，逐一判断所述选定学习任务与其余各学习任务之间是否存在任务冲突；在每一次判定存在任务冲突时，对所述选定学习任务的梯度值进行梯度修剪，并将所述选定学习任务的梯度值更新为修剪后的梯度值，根据所述选定学习任务更新后的梯度值继续判断所述选定学习任务与其余各学习任务之间是否存在任务冲突；

在所述梯度值更新执行完毕后，重新选取一学习任务作为更新后的选定学习任务，并重复执行所述梯度值更新，直至所有所述学习任务的梯度值更新完毕；

计算所有所述学习任务完成梯度值更新后的梯度值的平均值，获得平均梯度，根据所述平均梯度对所述待缓解多任务学习模型的网络参数进行更新。

进一步的，所述获取待缓解多任务学习模型中各个学习任务的梯度值，具体包括：计算每一所述学习任务的损失值，继而根据每一所述学习任务的损失值计算每一所述学习任务对所述待缓解多任务学习模型中网络参数的偏导数，获得每一所述学习任务的梯度值。

进一步的，所述对所述选定学习任务的梯度值进行梯度修剪，具体包括：

根据所述选定学习任务的梯度值以及冲突学习任务的梯度值，确定所述选定学习任务与所述冲突学习任务的冲突平面；其中，所述冲突学习任务为与所述选定学习任务存在任务冲突的学习任务；

分别计算所述选定学习任务以及所述冲突学习任务在所述冲突平面上的梯度分量，继而根据所述梯度分量计算选定学习任务与所述冲突学习任务之间的梯度分量差值；