[发明专利]基于轻量级网络的实时目标检测与语义分割的多任务学习方法

说明书

本发明涉及一种基于轻量级网络的实时目标检测与语义分割的多任务学习方法。包括特征提取模块、语义分割模块、目标检测模块以及多尺度感受野模块；特征提取模块选择轻量级卷积神经网络MobileNet，通过MobileNet网络提取特征，送入语义分割模块去完成道路可行驶区域与可选择行驶区域的分割问题，同时将特征送入目标检测模块去完成道路场景下出现的物体检测；通过多尺度感受野模块增加特征图的感受域，用不同尺度的卷积解决多尺度难题，最终损失函数通过语义分割模块的损失函数与目标检测模块的损失函数进行加权求和，对总模块进行优化。本发明提供的方法相比现有技术做到了更快速，更准确地完成道路物体检测以及道路行驶区域分割这两种常见的无人驾驶感知任务。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于轻量级网络的实时目标检测与语义分割的多任务学习方法。

背景技术

计算机视觉在自动驾驶中越来越流行，这主要是由于基于神经网络的深度学习技术的兴起。越来越多的公共数据集和发达的硬件资源的出现促进了相关的研究成果，并进一步推动了计算机视觉技术的发展。自动驾驶汽车中使用了许多计算机视觉任务，例如目标检测和道路分割，这对于感知驾驶环境至关重要。当前的趋势是持续提高这些任务的准确性，同时将推理时间保持在尽可能短的时间内。仅仅满足模型感知的准确性，没有一个快的模型预测速度，会给无人驾驶车辆决策带来极大的危险，遇到突发事故时无法及时决策处理，所以需要让模型有快速的预测速度，保证车辆有足够的时间来做出决策。此外，自动驾驶汽车的硬件资源受到限制，充分利用这些硬件资源也是一项重要任务。而且道路场景下的物体存在尺度大小差异过大的问题，常规模型无法准确完成同时对大物体与小物体的感知问题，如此会爆发出很多潜在问题。

发明内容

本发明为克服上述现有技术中的缺陷，提供一种基于轻量级网络的实时目标检测与语义分割的多任务学习方法，更快速、更准确地完成道路物体检测以及道路行驶区域分割这两种常见的无人驾驶感知任务。

为解决上述技术问题，本发明采用的技术方案是：一种基于轻量级网络的实时目标检测与语义分割的多任务学习方法，包括特征提取模块、语义分割模块、目标检测模块以及多尺度感受野模块；所述的特征提取模块选择轻量级卷积神经网络MobileNet，通过MobileNet网络提取特征，送入上层的语义分割模块去完成道路可行驶区域与可选择行驶区域的分割问题，同时将特征送入下层的目标检测模块去完成道路场景下出现的物体检测；通过多尺度感受野模块增加特征图的感受域，用不同尺度的卷积解决多尺度难题，最终损失函数通过语义分割模块的损失函数与目标检测模块的损失函数进行加权求和，对总模块进行优化。

进一步的，所述的特征提取模块通过轻量级卷积神经网络MobileNet对RGB图像进行特征提取；MobileNet采用深度可分离卷积代替常规卷积来减小模型参数量。MobileNet网络拥有更小的体积，更少的计算量，更高的精度，在轻量级神经网络中拥有极大的优势。MobileNet在提取特征的过程中，越往后得到的特征图尺寸越小，感受野越大，语义信息更加丰富。MobileNet采用深度可分离卷积代替常规卷积来减小模型参数量，从而缩短模型预测时间，对硬件资源要求变低。

进一步的，以SSD检测算法作为检测基线模型，在目标检测模块中加入多尺度感受野模块；所述的多尺度感受野模块由不同比例的空洞卷积组成，这些不同尺度的空洞卷积在不改变尺度大小的情况下去增加多尺度的感受野来解决多尺度问题。SSD是一个典型的单阶段检测器，引入不同阶段的特征图对物体检测画框，能够有效缓解物体检测中多尺度的问题，除此之外，在目标检测模块中加入多尺度感受野模块，多尺度感受野模块由不同比例的空洞卷积组成，这些不同尺度的空洞卷积在不改变尺度大小的情况下去增加多尺度的感受野来解决多尺度问题。分别用比率为5和7的空洞卷积去增加大尺度物体的感受野，用比率为3的空洞卷积增加小物体的感受野，同时采用不同大小的卷积层最后合并在一起，很好地解决了道路场景下普遍存在的多尺度问题。