[发明专利]一种基于参数传播的多任务图片理解方法与装置

说明书

本发明公开一种基于参数传播的多任务图片理解方法与装置，所述方法包括：获取若干张图片数据，并进行预处理后构建为训练数据集；获取若干个图片理解任务，对每个图片理解任务均构建一个任务模型，其中，若干个图片理解任务之间具有关联，每个任务模型具有独立的参数；基于线性参数传播机制，通过训练数据集对各任务模型进行训练；训练好的各任务模型分别用于对待处理图片进行图片理解。本发明完全抛弃参数共享的这一机制，假设不同图片理解任务之间的参数是完全独立，并且在训练的过程中，通过不同图片理解任务之间的参数传播来实现任务关联，有效避免了传统基于参数共享的多个图片理解任务中的负面迁移问题，提高了每个图片理解任务的预测效果。

技术领域

本发明涉及人工智能、图片理解技术领域，特别是涉及一种基于参数传播的多任务图片理解方法与装置。

背景技术

图像理解技术可以应用到自动驾驶、安防监控、教育等领域。所谓图像理解，即输入一张RGB图片，利用多层卷积神经网络可以直接输出该图片中的场景分割(每个像素点属于哪一类标签)、深度估计(每一个像素点的物体到摄像头的深度距离)等。实际应用往往需要同时解决多个图像理解任务，例如自动驾驶领域需要同时根据当前摄像头捕获的图片实现场景分割和深度估计。能否利用不同任务之间的联系来增强各个任务的预测效果，构成了多任务图像理解的关键。

为了实现多任务图像理解，传统方法通过不同任务的多层卷积神经网络的参数共享来实现任务之间的关联(如图1所示)。具体来说，在每一步训练过程当中，给定多个任务的输入和输出对，通过建立各个任务神经网络的期望输出和实际输出之间的损失函数，然后通过梯度反传来更新神经网络的参数，优化神经网络输出，提高效果。因为不同任务的神经网络的前M层的参数是共享的(值是一样)，所以这些共享的参数会同时根据所有任务的反传梯度来更新。然而，如果不同任务的反传梯度方向是相反的、冲突的，即提高一个任务的预测效果会降低另一个任务的预测效果，这就会导致共享参数的更新不能同时提高多个任务的预测效果，产生了负面迁移问题。因此，提供一种基于参数传播的多任务图片理解方法与装置显得尤为必要。

发明内容

本发明的目的是提供一种基于参数传播的多任务图片理解方法与装置，以解决现有技术的问题，完全抛弃参数共享的这一机制，假设不同图片理解任务之间的参数是完全独立，并且在训练的过程中，通过不同图片理解任务之间的参数传播来实现任务关联，从而有效避免了传统基于参数共享的多个图片理解任务中的负面迁移问题，同时提高每个图片理解任务的预测效果。

为实现上述目的，本发明提供了如下方案：本发明提供一种基于参数传播的多任务图片理解方法，包括如下步骤：

获取若干张图片数据，并对所述图片数据进行预处理后构建为训练数据集；

获取若干个图片理解任务，对每个所述图片理解任务均构建一个任务模型，其中，若干个所述图片理解任务之间具有关联，每个所述任务模型具有独立的参数；

基于线性参数传播机制，通过所述训练数据集对各所述任务模型进行训练；训练好的各所述任务模型分别用于对待处理图片数据进行图片理解。

优选地，采用多层卷积神经网络对每个所述图片理解任务构建任务模型。

优选地，基于线性参数传播机制对所述任务模型进行训练包括自学习和邻学习两个阶段；其中，在所述自学习阶段，通过每个所述任务模型独立训练各自参数，在所述邻学习阶段，将所有任务模型的参数固定，训练参数传播矩阵；所述参数传播矩阵用于表示各所述图片理解任务之间的关系。

优选地，在所述自学习阶段，通过每个所述任务模型独立训练各自参数的方法包括：

对所有所述任务模型的参数进行随机初始化，并通过随机梯度法对每个所述任务模型的参数进行迭代更新。

优选地，通过随机梯度法对每个所述任务模型的参数进行更新的具体方法包括：