[发明专利]一种基于深度学习的实时高性能街景图像语义分割方法

说明书

一种基于深度学习的实时高性能街景图像语义分割方法。准备街景图像训练、验证和测试数据集；对数据集图像进行下采样，减小图像的分辨率；对现有的轻量级分类网络进行改造作为语义分割的基础特征提取网络；在基础特征提取网络后串联一个鉴别性孔洞空间金字塔池化用于解决语义分割的多尺度问题；将若干个卷积层堆叠，形成浅层的空间信息保存网络；使用特征融合网络将得到的特征图进行融合形成预测结果；将输出图像与数据集中的语义标注图像进行对比，利用反向传播算法进行端到端的训练，得到实时高性能街景图像语义分割网络模型；将待测试的街景图像输入实时高性能街景图像语义分割网络模型中得到街景图像的语义分割结果。

技术领域

本发明涉及计算机视觉技术，尤其是涉及一种基于深度学习的实时高性能街景图像语义分割方法。

背景技术

语义分割属于场景理解的任务之一，它提供详细的像素级别分类，是计算机视觉领域一个非常基础但是又非常具有挑战性的任务。语义分割可以被广泛的应用在各种现实场景中，比如无人驾驶、机器人或者增强现实等，这些应用对语义分割算法有着强烈的需求。

早期的语义分割使用的是基于手工特征的方法，比如随机森林等，但是这些方法的效果并不理想。近年来，随着深度学习技术的不断发展，深度卷积神经网络被广泛的用于各种计算机视觉任务中，比如图像分类、目标跟踪等，并且取得了非常好的效果。在FCN方法(J.Long,E.Shelhamer,and T.Darrell,“Fully convolutional networks for semanticsegmentation,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),Jun.2015,3431–3440.)(它将深度卷积神经网络的全连接层全部用卷积层来代替)第一次将深度学习引入到语义分割之后，深度卷积神经网络开始成为解决语义分割问题的首选方法。得益于深度学习技术，语义分割在最近几年取得了非常巨大的进步，它在各大数据集上都达到了非常好的分割效果，比如著名的Deeplabv3+(L.-C.Chen,Y.Zhu,G.Papandreou,F.Schroff,and H.Adam,“Encoder-decoder with atrous separable convolution for semanticimage segmentation,”in Proc.Eur.Conf.Comput.Vis.(ECCV),Sep.2018,pp.833–851.)和PSPNet(H.Zhao,J.Shi,X.Qi,X.Wang,and J.Jia,“Pyramid scene parsing network,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),Jun.2017,2881–2890.)在街景图像理解数据集Cityscapes上分别达到了82+％和81+％的mIoU。但是这些高性能的语义分割算法是建立在大量的操作、计算量和内存消耗基础上，他们严重依赖于复杂的网络模型，比如VGG(K.Simonyan and A.Zisserman,“Very deep convolutional networks forlarge-scale image recognition,”in Proc.Int.Conf.Learn.Representations,May.2015.)或者Resnet(K.He,X.Zhang,S.Ren,and J.Sun,“Deep residual learning forimage recognition,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.(CVPR),Jun.2016,770–778)等网络。这些网络往往会产生大量的参数和消耗非常多的运行时间，只考虑分割精度而不考虑时间消耗的做法导致他们缺乏良好的实用性。而许多现实中的实际应用对时间很敏感，他们要求语义分割算法拥有实时的处理速度和快速的交互、响应，对这些应用来说速度和精度是同样重要的，特别是对于计算资源有限的平台或者是像街景这样复杂的应用场景。与单纯追求高精度的语义分割相反，研究怎么样使语义分割运行得更快的同时还不会牺牲太多的精度仍然还很滞后。目前改进计算有效性的工作主要聚焦在图像分类和目标跟踪两个方面，针对快速语义分割的研究还比较少。实时高性能语义分割算法对能否将语义分割真正落地到实际应用上起到了至关重要的作用。