[发明专利]基于条件随机场图结构学习的语义图像分割方法

权利要求书

1.一种基于条件随机场图结构学习的语义图像分割的方法，其特征在于，所述方法包括以下步骤：

1)训练一个全卷积神经网络或是采用现成的全卷积神经网络来进行语义图像粗分割；

2)使用rcf神经网络学习条件随机场图结构，过程如下：

对于图像中的每个像素，考虑在四个方向与其邻居的连接，四个方向是指左，上，左上和右上方，对于每个方向，训练一个卷积神经网络，通过微调rcf网络模型来估计该方向上的连接；获得了四个网络，它们在四个方向覆盖相邻像素的连通性，每个网络的输出给出连接存在于相应方向的概率；

给定四个网络的输出，首先对图像进行图像处理以获得超像素，然后采用这些超像素来构建CRF模型，对于彼此相邻的每一对超像素(k，l)，考虑在8个方向上的所有它们的相邻像素，由集合A_k，l＝{(i，j)|i∈k，j∈l}定义，i表示j在8个方向上所有相邻像素，对于(i，j)∈A_k，l，令p_i，j表示相应网络的输出，定义：

这给出了每个CRF图中两个相邻超像素的连通性的评估，e_u，υ∈{0，1}表示(u，υ)之间的边存在或不存在，边存在时e_u，υ＝1，不存在时e_u，υ＝0，建立CRF图根据

这里δ是一个常量，通过交叉验证来确定；

融合四个网络的输出并获得超像素级的CRF图；

3)采用学习得到的图结构来训练条件随机场模型参数，过程如下：

让z表示任意图像，x表示图像中所有超像素的标签，让x_i∈χ是第i个超像素的标签，令G＝(V，E)表示学习图，其中V＝{1，...，n}是在n个超像素集合，并且

给定输入z和图结构E，x的概率分布函数PDF由下式给出：

其中w＝[ω_u，ω_p1，ω_p2，w_c]是该分布要学习的参数，w_c∈R^l(l＝|χ|×(|χ|+1)/2)，1(x_i，x_j)是相对于标签x_i，_xj的一个指标向量，并且该向量除了由(x_i，x_j)索引的那个之外的所有位置都取0，N(z，w)是分区函数：

公式(3)中的四个项，p_i(x_i)是根据观测值z来衡量的，第i个超像素取标签x_i，用softmax输出层训练一个深度神经网络，由于网络输出像素方向概率，通过平均由这个超像素包围的所有像素的概率来计算p_i(x_i)；

Potts模型h₁(x_i，x_j，z)，h₂(x_j，x_j，z)被定义为：

c，l表示超像素的颜色矢量和位置矢量；

最后一项是参数向量w_c和指标向量1(x_i，x_j)之间的点积；

训练：给定一个训练集，通过伪对数似然估计估计所有的模型参数，规则化的负伪对数似然代替了PDF表达式(3)的对数似然性；

有以下近似值：

其中Ω(i)表示在G中与节点i相邻的所有节点，x_i的条件PDF是

这里分区函数由以下得出：

其中是联合特征向量的形式从以下得出：

用梯度下降策略训练模型参数；

4)使用训练得到的条件随机场模型做语义图像细分割，过程如下：

解决最大后验MAP推理问题，即：

通过调用alpha-beta扩展例程来找到x的最优标签。