[发明专利]基于卷积神经网络与语义转移联合模型的街景语义标注方法

说明书

本发明涉及一种基于卷积神经网络与语义转移联合模型的街景标注方法，包括深度特征提取和软限制语义转移两个部分，通过构建一个更为平衡的训练集，并在此之上训练一个具有先验信息的超像素分类深度模型。它能够充分挖掘场景的先验信息，学习到更具差异性的特征表达，使得超像素的标注准确率大幅提升。通过马尔科夫随机场模型，对初始结果进行优化，去除了不必要的噪声，使得标注结果进一步提高，最终逐像素标注准确率和平均类别准确率达到了77％和53％以上。

技术领域

本发明属于计算机视觉，图形处理技术领域，具体涉及一种基于卷积神经网络与语义转移联合模型的街景标注方法。

背景技术

随着智能驾驶领域的不断发展，无人驾驶技术已经成为该领域研究的重要方向之一。如何使计算机理解车辆行驶过程中的周围环境并针对性地做出驾驶操作，是无人驾驶汽车的重要研究内容。当前的无人驾驶系统采用一些行人检测、道路检测、交通标志检测等传统技术的整合来达到理解周围街景的目的，但效果并不显著。近几年，研究者也提出了采用街景标注的方法来使计算机理解场景。街景标注是一个对场景进行逐像素标注类别的图像处理任务。但是由于场景内所需标注的目标类别过多，各个目标之间的差异性特征难以得到有效提取，导致多目标同时进行识别标注的难度较大。之前的研究主要分为两类：参数方法和非参数方法。

参数方法有Shotton等人在文献“J.Shotton,J.Winn,C.Rother,etal.TextonBoost for Image Understanding:Multi-Class Object Recognition andSegmentation by Jointly Modeling Texture,Layout,and Context.InternationalJournal of Computer Vision,81(1),2-23,2009.”中提出的随机场模型。通过提取纹理基元(Texton)的特征，在待标注图上构建条件随机场模型和能量函数，选取能量函数最小时的观测值作为最终的标注结果。

非参数方法有Tighe和Lazebnik在文献“J.Tighe andS.Lazebnik.Superparsing.International Journal of Computer Vision,101(2),329-349,2013.”中提出的基于超像素的语义转移方法。该方法通过将图像分割为超像素，将训练集中与之相似的超像素的标签转移给待标注超像素，从而完成整幅图像的标注。

这些方法都有其局限性。采用传统的手工特征来描述图像，不能够很好的描述图像的内在表达以及场景中的先验信息；除此之外，这些方法大都受制于数据集不平衡现象的影响，使得一些在数据集中出现较少的目标类别得不到有效训练，实用性较低。

发明内容

要解决的技术问题

为了避免现有数据集不平衡问题以及现有方法不能提取到更丰富和更差异性的目标特征的问题，本发明提出一种基于卷积神经网络与语义转移联合模型的街景语义标注方法。

技术方案

一种基于卷积神经网络与语义转移联合模型的街景语义标注方法，其特征在于包括深度特征提取和软限制语义转移两个部分，步骤如下：

深度特征提取：

A)训练阶段：

步骤A1：采用过分割算法SLIC将训练集中的每一幅图像分别分割成N、N±50、N±25、N±20个超像素，保留每个超像素在原图中的位置，其他区域的颜色值则置为0，生成一幅与原图像大小相同的图像，将每个超像素中占其区域50％以上的语义标签作为该超像素的语义标签；对上述得到的N、N±50、N±25、N±20个超像素分别进行左右翻转；