[发明专利]融合局部信息的场景分割修正方法与系统

说明书

本发明涉及一种场景分割修正方法，通过局部边界修正网络，以完全残差卷积网络作为前端模型，将该前端模型的置信度图和原始图像按通道拼接起来，作为该局部边界修正网络的输入，从而输出该置信度图所有位置的局部聚合系数，将该局部聚合系数与该置信度图的对应位置相乘，聚合到中心点，得到场景分割的局部边界修正结果；使用已知的场景分割数据集对该局部边界修正网络进行训练。同时本发明还提出了将全局残差修正网络和该局部边界修正网络串联起来，形成级联的框架，该级联的框架可以对前端模型的分割结果进行全局修正和局部修正，从而得到更加精确的场景分割修正结果。

技术领域

本方法属于机器学习和计算机视觉领域，特别涉及面向计算机视觉中场景分割的机器学习问题。

背景技术

目前流行的场景分割方法主要基于卷积神经网络(Convolutional NeuralNetworks，CNNs)。其中大部分方法利用了全卷积网络(Fully Convolutional Networks，FCNs)的框架。许多方法在FCNs的基础上进行进一步的改进，利用膨胀卷积、添加多层反卷积层和捕捉网络中间层特征等方法。然而，这些方法主要基于改进网络结构的思路提高分割精度。

不同于上述方法，其他一些方法则以提高当前的分割结果为目的。其中较为著名的包括“全连接条件随机场”方法和“多尺度膨胀卷积”方法。全连接条件随机场方法可以有效的精细化分割边界，该方法基于优化一个能量函数，从而自动对分割类别的得分图进行一体化修正。然而，该方法仅仅利用了低层的信息进行能量函数的优化。多尺度膨胀卷积方法则使用了膨胀卷积操作子，逐步捕捉多尺度的图像信息，从而进行分割结果的修正。这种方法主要基于图像的全局信息。

目前也有很多基于捕捉图像中邻域信息和空间关系进行场景分割的方法。一些方法利用了多维循环神经网络捕捉邻域信息和空间关系。这些方法针对图像的特点，将循环神经网络设计为不同的拓扑结构，包括对角结构、八邻域结构和图结构等等。为了减小循环神经网络的序列长度从而降低运算复杂度，这些方法大部分将循环神经网络作用在低分辨率的预测结果中，这将导致许多细节信息的丢失。此外，基于图模型的方法也被大量运用在捕捉图像块之间的空间信息中。一些场景分割的方法中将图模型建模为某种特殊的层，然后将其插入到神经网络中进行端对端的优化。这些方法主要捕捉神经网络学习到的语义特征，因此获取的图像块的空间信息主要集中在语义层面。

目前流行的场景分割方法主要基于全卷积网络及其变形。这些方法均采纳了迁移学习的思路，利用在大规模图像分类数据集上预训练好的卷积神经网络，将其调整为全卷积网络结构并在场景分割数据集上进行重训练。这类方法主要存在以下问题：(1)分割结果中常常出现不一致、不连续的问题，(2)目标的分割边界常常是不精准、不连贯的。

发明内容

为了解决上述问题，本发明从充分挖掘图像局部内容信息的角度提出了局部边界修正网络。局部边界修正网络可单独使用，也可以级联在前端网络之后组成一个联合框架，从而提高修正结果的精度。

局部边界修正网络将前端网络的置信度图和原始图像在通道的维度拼接起来作为网络的输入，由于原始图像的RGB值在预处理时归一化到了[0,1]范围，置信度图中的值也需要归一化到相同的范围，根据以下公式进行归一化：

其中是前端模型在位置i对于类别k的置信度值，K是数据集中包含的类别总数。局部边界修正网络的输出是对所有位置生成m×m大小的局部聚合系数图，这些聚合系数经过如下的正规化：

其中是局部边界修正网络对应位置i的邻域p的直接输出值，经公式(2)所示的归一化后成为对应位置i的邻域p的局部聚合系数m×m是邻域的大小。位置i的聚合系数向量将首先平铺成一个正方形，然后与前端模型的置信度图的对应位置相乘，最后聚合到中心点，从而得到修正后的结果，表示为：