[发明专利]网络训练方法、图像处理方法、装置、设备及存储介质

说明书

本公开涉及一种网络训练方法、图像处理方法、设备及存储介质，所述网络训练方法包括：将样本图像输入第i‑1状态的图像处理网络，得到样本图像的多个第一处理结果，i为正整数；根据样本图像的标注信息以及多个第一处理结果，分别确定各个分支网络的网络损失以及各个网络损失对于主干网络的梯度信息；根据梯度信息，确定各个网络损失的目标加权系数；根据各个网络损失及所述各个网络损失的目标加权系数，得到图像处理网络的总体损失；根据总体损失，对第i‑1状态的图像处理网络进行训练，得到第i状态的图像处理网络。本公开实施例可实现不同图像处理任务之间的平衡学习，提升网络学习性能及效率。

技术领域

本公开涉及计算机技术领域，尤其涉及一种网络训练方法、图像处理方法、装置、设备及存储介质。

背景技术

多任务学习(Multi-task learning,MTL)方式，旨在通过利用任务之间的关联性，共享多种任务不同层次的特征，达到减小网络参数、加快测试速度、提升任务性能的目的。

在多任务学习中，由于不同任务的损失函数不同，在训练过程中，可能出现各任务之间无法平衡学习的现象，该现象可能使得某些任务可以达到较好的学习效果，而其他的任务被迫牺牲。

发明内容

本公开提出了一种网络训练及图像处理技术方案。

根据本公开的一方面，提供了一种网络训练方法，包括：将样本图像输入第i-1状态的图像处理网络，得到所述样本图像的多个第一处理结果，所述图像处理网络包括主干网络及多个分支网络，所述主干网络用于提取图像特征，所述多个分支网络用于基于所述图像特征输出各图像处理任务的处理结果，i为正整数；根据所述样本图像的标注信息以及所述多个第一处理结果，分别确定各个分支网络的网络损失以及各个网络损失对于所述主干网络的梯度信息；根据所述梯度信息，确定各个网络损失的目标加权系数；根据所述各个网络损失及所述各个网络损失的目标加权系数，得到所述图像处理网络的总体损失；根据所述总体损失，对所述第i-1状态的图像处理网络进行训练，得到第i状态的图像处理网络。

在一种可能的实现方式中，所述根据所述梯度信息，确定各个网络损失的目标加权系数，包括：根据所述梯度信息以及所述梯度信息的加权参数，确定总体梯度信息；在所述总体梯度信息在各个梯度信息的方向上的梯度分量相同的情况下，将各个梯度信息的加权参数对应的参数值，确定为各个网络损失的目标加权系数。

在一种可能的实现方式中，所述各个网络损失的目标加权系数之和为1。

在一种可能的实现方式中，根据所述总体损失，对所述第i-1状态的图像处理网络进行训练，包括：根据所述总体损失，更新第i-1状态的主干网络的网络参数；和/或，根据所述各个网络损失，对应更新第i-1状态的各个分支网络的网络参数。

在一种可能的实现方式中，所述根据所述各个网络损失，对应更新第i-1状态的各个分支网络的网络参数，包括：根据所述各个网络损失及所述各个网络损失的第i-1状态的缩放参数，确定与各个网络损失对应的缩放损失；根据各个缩放损失，对应更新第i-1状态的各个分支网络的网络参数以及第i-1状态的缩放参数，以得到第i状态的各个分支网络及第i状态的缩放参数。

在一种可能的实现方式中，所述根据所述各个网络损失及所述各个网络损失的目标加权系数，得到所述图像处理网络的总体损失，包括：根据所述各个网络损失的目标加权系数，对多个网络损失进行加权求和，得到所述总体损失。

在一种可能的实现方式中，所述分别确定各个网络损失对于所述主干网络的梯度信息，包括：分别确定所述各个网络损失对于所述主干网络提取的图像特征的梯度信息。

在一种可能的实现方式中，所述方法还包括：在所述第i状态的图像处理网络满足训练条件的情况下，将所述第i状态的图像处理网络确定为训练后的图像处理网络。

在一种可能的实现方式中，所述图像处理任务包括图像识别、图像分类、图像分割、关键点检测中的至少两种。