[发明专利]基于条件随机场图结构学习的语义图像分割方法

说明书

一种基于条件随机场图结构学习的语义图像分割的方法，所述方法包括以下步骤：1)训练一个全卷积神经网络或是采用现成的全卷积神经网络来进行语义图像粗分割；2)使用rcf神经网络学习条件随机场图结构；3)采用学习得到的图结构来训练条件随机场模型参数；使用训练得到的条件随机场模型做语义图像细分割，过程如下：解决最大后验MAP推理问题，通过调用alpha‑beta扩展例程来找到x的最优标签。本发明提供一种分割效果较好的基于条件随机场图结构学习的语义图像分割的方法。

技术领域

本发明属于计算机视觉中的图像理解领域，涉及一种语义图像语义分割方法。

背景技术

语义图像分割(像素标注)是模式识别中的一项重要任务。这个问题已经在计算机视觉领域得到了广泛的研究，并且已经开发了许多技术，其中基于条件随机场(CRF)的方法是至关重要的，因为它们1)结合丰富的特征(无论是学习的还是手工的表示)来区分类别；2)平滑的分割边界与对比敏感势能；3)能够模拟局部区域的标记一致性。有了这样的实力，CRF的分割显然胜过没有CRF的结果，特别是当局部特征表示较弱时。

发明内容

为了克服现有的语义图像分割方式的分割效果较差的不足，本发明提供一种分割效果较好的基于条件随机场图结构学习的语义图像分割的方法。

本发明解决其技术问题所采用的技术方案是：

一种基于条件随机场图结构学习的语义图像分割的方法，所述方法包括以下步骤：

1)训练一个全卷积神经网络或是采用现成的全卷积神经网络来进行语义图像粗分割；

2)使用rcf神经网络学习条件随机场图结构，过程如下：

对于图像中的每个像素，考虑在四个方向与其邻居的连接，四个方向是指左，上，左上和右上方，对于每个方向，训练一个卷积神经网络，通过微调rcf网络模型来估计该方向上的连接；获得了四个网络，它们在四个方向覆盖相邻像素的连通性，每个网络的输出给出连接存在于相应方向的概率；

给定四个网络的输出，首先对图像进行图像处理以获得超像素，然后采用这些超像素来构建CRF模型，对于彼此相邻的每一对超像素(k，l)，考虑在8个方向上的所有它们的相邻像素，由集合A_k，l＝{(i，j)|i∈k，j∈l，i is j’s 8-neighbor}，对于(i，j)∈A_k，l，令p_i，j表示相应网络的输出，定义：

这给出了每个CRF图中两个相邻超像素的连通性的评估，e_u,v∈{0，1}表示(u，v)之间的边存在(e_u，v＝1)或不存在(e_u,v＝0)，建立CRF图根据

这里δ是一个常量，通过交叉验证来确定；

融合四个网络的输出并获得超像素级的CRF图；

3)采用学习得到的图结构来训练条件随机场模型参数，过程如下：

让z表示任意图像，x表示图像中所有超像素的标签，让是第i个超像素的标签，令G＝(V，E)表示学习图，其中V＝{1，...，n}是在n个超像素集合，并且

给定输入z和图结构E，x的概率分布函数PDF由下式给出：