[发明专利]一种基于贝叶斯深度多任务学习的语义分割与深度预测方法

说明书

本发明属于人工智能与计算机视觉领域，公开了一种基于贝叶斯深度多任务学习的语义分割与深度预测方法。该方法将语义分割与深度预测任务视为多任务，利用深度学习方法解决多模态问题，通过预训练处理的主干网络生成包含多个尺度的原始共享特征，并利用提出的贝叶斯多通道交流单元与任务共享单元实现尺度与任务特征之间的交流；最后通过设计的贝叶斯多模态蒸馏机制输出语义分割与深度预测的结果。本发明方法核心在于设计了多尺度与多任务交流机制，并引入贝叶斯深度学习设计了贝叶斯门控机制，并显著提高语义分割与深度预测任务的精度。本发明作为一种基于贝叶斯深度多任务学习的语义分割与深度预测方法，可广泛应用于自动驾驶以及智能机器人领域。

技术领域

本发明属于人工智能与计算机视觉领域，具体涉及一种基于贝叶斯深度多任务学习的语义分割与深度预测方法。

背景技术

语义分割与深度预测任务主要是对图像信息进行理解，针对给定的图像实现不同像素的语义分类与深度信息估计。语义分割与深度预测作为计算机视觉中的基本任务，在自动驾驶汽车和智能机器人等领域发挥着至关重要的作用，在这些应用的领域中需要深入理解周围环境等。

近些年来，卷积神经网络在计算机视觉领域的许多任务中性能得到了极大的提升，如实例分割与深度预测等领域。通常情况下，一个卷积神经网络被设计成仅解决一个独立的视觉任务，然而在真实世界中需要解决大量多模态的问题，这些问题同时存在共性与特异性，例如在自动驾驶对周围环境的感知与理解。因此利用深度学习解决多任务问题是一个具有前景的研究方向，与单任务学习相比，多任务学习具有较少资源利用率、推理速度提升等优点，同时它可以同时学习语义分割与深度预测任务，具有更强的可扩展性，而且在工业领域中具有很大应用价值。

近期一部分有关语义分割与深度预测的多任务学习工作尝试引入多尺度概念增强模型场景理解能力。Zhang等人递归地在由粗至细的尺度序列上进行任务学习，细化并促进语义分割与深度预测任务(Zhang Z,Cui Z,Xu C,et al.Joint task-recursivelearning for semantic segmentation and depth estimation[C]//Proceedings ofthe European Conference on Computer Vision(ECCV).2018:235-251.)。Simon等人在多个尺度上进行多模态蒸馏实现信息交互(Vandenhende S,Georgoulis S,Gool L V.Mti-net:Multi-scale task interaction networks for multi-task learning[C]//European Conference on Computer Vision.Springer,Cham,2020:527-543.)。尽管现有工作证明了多尺度信息交流在视觉多任务学习中的有效性，但在这些方法中仅存在有限的尺度信息传输。在这些网络中低尺度场景信息通过提取部分特征流向高尺度场景。同时多任务深度学习存在两个挑战：(1)由于共享层结构设计的不合理，导致构建的融合特征无法包含充足的共享信息，从而进一步影响各个任务提取信息的能力。(2)如何制定有效的多任务信息交流策略。一个优秀的交流机制可以调节语义分割与深度预测任务间的联合学习，能够让每个任务更加有效利用上下文知识中其他成员信号。本发明旨在于解决上述两个关键的语义分割与深度预测多任务问题。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于贝叶斯深度多任务学习的语义分割与深度预测方法。该方法在多任务网络编码阶段设计了双向感受野流通结构，以促进尺度与任务间的特征交流，并在深度共享网络的不同信息交流阶段中引入门控机制，以过滤信息流。在此门控机制中引入贝叶斯深度学习方法从而提高深度神经网络的泛化能力，并为模型提供不确定性表示。

对于第一个问题，本发明提出一种用于计算机视觉密集任务的新型的多尺度多任务网络结构。它通过尺度信息与任务信息的充分交流，提升语义分割与深度预测任务的性能表现。