[发明专利]一种基于局部区域条件随机场模型的图像语义分割方法

摘要

本发明涉及一种基于局部区域条件随机场模型的图像语义分割方法。本发明全卷积神经网络结构提取输入图片特征并获得一个粗糙的分割结果，区域选择结构将分割结果图进行边缘滤波，并选择分割结果为行人，自行车，机动车的部分的最大外接矩形，局部区域条件随机场模型在上述矩形区域建立条件随机场模型并精细优化上述矩形区域的分割结果。本发明有效的结合了条件随机场模型精度上的优势和全卷积神经网络速度上的优势。优化了条件随机场模型计算方式从而大幅降低了模型时间复杂度；提升了传统全卷积神经网络的分割精度；将概率图模型的应用和全卷积神经网络的应用设计为了一个端到端系统。

主权项

1.一种基于局部区域条件随机场模型的图像语义分割方法，其拓扑结构主要包括全卷积神经网络结构DeepLab‑RES18，区域选择结构，局部区域条件随机场模型结构；其特征在于：所述的全卷积神经网络结构用于提取输入图片特征并获得一个粗糙的分割结果，然后将该结果送入区域选择结构；区域选择结构用于将分割结果图进行边缘滤波，并选择分割结果为行人，自行车，机动车的部分的最大外接矩形，然后将这些矩形区域送入局部区域条件随机场模型；局部区域条件随机场模型用于精细优化上述矩形区域的分割结果；所述的全卷积神经网络结构通过改进DeepLab v2模型所得，将DeepLab v2中的VGG‑16结构替换为泛化能力更好的ResNet‑18结构；区域选择结构由一个边缘滤波器构成，用于获取分割结果中不同类别的边缘轮廓并保存属于行人，自行车，机动车的部分，然后获取这些部分的最大外接矩形区域；局部区域条件随机场模型在上述矩形区域中以每个像素点作为一个节点建立条件随机场模型，最终输出在上述矩形区域中更加精细的分割结果；具体过程如下：步骤一：通过线性插值的方式缩放训练样本至720*1080大小，并做减均值处理，选取数据样本中80％作为训练数据，20％作为测试数据，测试数据不参与训练过程；步骤二：将ResNet‑18分类模型在ImageNet上做预训练直到ResNet‑18网络收敛；步骤三：将经过预处理的训练数据送入经过预训练的全卷积网络结构中训练并输出一个粗糙分割结果特征图；步骤四：选取这个分割结果图中结果为行人，自行车，机动车的部分的最大外接矩形区域，并滤除掉尺寸过小的部分；步骤五：在步骤四中所得的最大外接矩形区域建立条件随机场模型，以DeepLab‑RES18所产生的分割结果经过softmax后获得的单通道特征图作为初始输入，然后使用像素的颜色特征和空间位置特征的高斯特征计算特征图中每个像素点的二元势函数，得到一个双通道的分割特征图，接着将上述双通道特征图与一个1x1的卷积核进行卷积并输出一个单通道的特征图，然后，首先将上述单通道特征图按类别总数扩展到类别总数个通道，同样使用一个1x1的卷积核进行卷积操作并输出一个通道数为类别总数的分割结果，最后将上述过程所得结果直接与DeepLab‑RES18网络产生的结果直接相加并进行softmax归一化后输出一个单通道结果图即为最终分割结果图。