[发明专利]基于卷积神经网络与语义转移联合模型的街景语义标注方法

摘要

本发明涉及一种基于卷积神经网络与语义转移联合模型的街景标注方法，包括深度特征提取和软限制语义转移两个部分，通过构建一个更为平衡的训练集，并在此之上训练一个具有先验信息的超像素分类深度模型。它能够充分挖掘场景的先验信息，学习到更具差异性的特征表达，使得超像素的标注准确率大幅提升。通过马尔科夫随机场模型，对初始结果进行优化，去除了不必要的噪声，使得标注结果进一步提高，最终逐像素标注准确率和平均类别准确率达到了77％和53％以上。

主权项

1.一种基于卷积神经网络与语义转移联合模型的街景语义标注方法，其特征在于包括深度特征提取和软限制语义转移两个部分，步骤如下：深度特征提取：A)训练阶段：步骤A1：采用过分割算法SLIC将训练集中的每一幅图像分别分割成N、N±50、N±25、N±20个超像素，保留每个超像素在原图中的位置，其他区域的颜色值则置为0，生成一幅与原图像大小相同的图像，将每个超像素中占其区域50％以上的语义标签作为该超像素的语义标签；对上述得到的N、N±50、N±25、N±20个超像素分别进行左右翻转；N为正自然数；步骤A2：在N个超像素里面提取大比例目标放入训练数据中，所述的大比例目标为训练集中天空、建筑和道路；在N个超像素以及左右翻转后得到的N个超像素里面提取常见目标放入训练数据中，所述的常见目标为目标的像素数量在整个训练集中占据的比例pc≥10％；在N个超像素以及左右翻转后得到的N个超像素、N±50个超像素以及左右翻转后得到的N±50个超像素、N±25个超像素以及左右翻转后得到的N±25个超像素里面提取不常见目标放入训练数据中，所述的不常见目标为目标的像素数量在整个训练集中占据的比例3％≤pc＜10％；在N个超像素以及左右翻转后得到的N个超像素、N±50个超像素以及左右翻转后得到的N±50个超像素、N±25个超像素以及左右翻转后得到的N±25个超像素、N±20个超像素以及左右翻转后得到的N±20个超像素里面提取稀有目标放入训练数据中，所述的稀有目标为目标的像素数量在整个训练集中占据的比例pc＜3％；步骤A3：将训练数据及其所对应的语义标签输入到AlexNet网络中，对AlexNet网络进行全监督训练得到深度模型；所述的AlexNet网络中的“fc8”层的输出维度为L+1；B)测试阶段：步骤B1：采用过分割算法SLIC将待标注图像分割成N个超像素，保留每个超像素在原图中的位置，其他区域的颜色值则置为0，生成一幅与原图像大小相同的图像，将每个超像素中占其区域50％以上的语义标签作为该超像素的语义标签；步骤B2：将待标注图像的N个超像素输入到深度模型，对每一个超像素提取4096维的特征，通过soft‑max层对特征进行分类，得到超像素被划分为每一类别的得分向量其中，下角标i表示超像素的序列，1≤i≤N，i∈Z，L代表目标类别的数量；软限制语义转移：步骤1：分别计算训练集中每幅图像和待标注图像的GIST、空间金字塔和颜色直方图三个特征向量；分别计算训练集中每幅图像与待标注图像三个特征的欧式距离，并按升序排列；记录每幅训练图像在三个特征向量下的位次，选择最小的位次作为该训练图像与待标注图像的接近程度；选取前k个最接近待标注图像的训练图像作为检索集；步骤2：以待标注图像的超像素为结点，相邻超像素的关系集合作为边，构建马尔科夫随机场模型，定义模型的能量函数：其中，SP代表待标注图像的超像素集合；l表示在集合SP上取的一组观测值；代表第i个超像素在深度模型中输出的得分值；代表在给定观测标签l_i时的指示向量；ε_w代表待标注图像的相邻超像素的集合；P(l_i|l_l)与P(l_j|l_i)是统计了检索集中的相邻超像素的条件概率，δ函数是常见的Potts模型；λ是第二项的权重常数，w_ij是软限制权重：其中，为第j个超像素在深度模型中的得分值；步骤3：利用图割法中的α‑β交换算法最优化能量函数，取最小化能量函数值时的观测变量l为街景语义标注结果。