[发明专利]超像素采样网络

说明书

本发明公开了一种超像素采样网络。超像素采样网络利用耦合到可微分简单线性迭代聚类组件的神经网络从由神经网络输出的一组像素特征来确定像素‑超像素关联。超像素采样网络通过多次迭代计算更新的超像素中心和最终像素‑超像素关联。

相关申请的交叉引用

根据美国法典第35篇第119(e)条，本申请要求于2018年5月1日提交的序列号为62/665,325的美国申请的优先权和权益，其内容通过引用整体并入本文。

背景技术

超像素是通过基于低级图像特性对图像像素进行分组而形成的图像的过分割。超像素提供图像内容在视觉上有意义的细分，从而减少用于后续图像处理的图像基元的数量。由于其代表性和计算效率，超像素已成为已建立的低/中级图像表示，并广泛用于计算机视觉算法，例如物体检测、语义分割、显著性估计、光流估计、深度估计、跟踪等。超像素尤其广泛用于传统的能量最小化框架中，其中较少数量的图像基元降低了优化复杂性。

已经针对广泛的计算机视觉问题采用了深度学习技术。除少数方法外，超像素几乎不与现代深度网络结合使用。这有两个主要原因：1)构成了大多数深度架构的基础的标准卷积运算，通常在规则网格点阵(lattice)上定义，并且在不规则超像素点阵上运算时变得效率低下；2)现有的超像素算法是不可微分的，因此在深度网络中利用超像素将不可微分的模块引入了其他端到端的可训练网络架构中。

发明内容

本文公开了用于实现用于超像素分割的深度可微分算法的系统的实施例。通过放宽简单线性迭代聚类(SLIC)中存在的最近邻约束，将SLIC超像素算法转换为可微分算法。这种可微分算法使能端到端训练，并允许利用深度网络学习超像素，而不是使用传统的手工制作特征。深度网络与可微分SLIC的组合形成了端对端可训练的超像素算法，即超像素采样网络(SSN)。

与传统的超像素算法相比，SSN具有以下特性：

1.端到端可训练：SSN是端到端可训练的，并可以高效地集成到其他深度网络架构中。

2.灵活且任务特定：SSN使能采用灵活的损失函数学习，从而致使学习特定任务的超像素。

3.最先进的性能：SSN在许多类型的数据集上可能优于传统的超像素算法，使机器或计算机能够在确定超像素时更高效地运行。

4.有利的运行时间：与传统的超像素算法相比，SSN在运行时间方面也具有更高效的运行时间，因此使能在大型数据集上进行学习，并在许多实际应用中实现更高的效率。

附图说明

为了容易地识别对任何特定元件或动作的讨论，参考标号中的最显著的一个或更多个数字指的是首先引入该元件的图号。

图1示出了超像素采样网络100的实施例。

图2示出了超像素采样网络200的实施例。

图3示出了超像素化方法300的实施例。

图4为计算系统400的框图，在计算系统400中可以呈现或实行本文引入的技术。

图5为可以包含本发明的实施例的计算装置500的示例性框图。

具体实施方式

除非另有明确说明或暗示，否则本文使用的术语应当提供其在本领域中的常规含义。

“可微分算法”是指采用全部连续的且可微分的计算分量的算法。

“最近邻约束”指的是属于同一群集/邻域的项的距离限制。

“端到端训练”指的是在没有监督(手动)干预的情况下从采样数据集学习的网络。

“深度网络”是指具有多于一个隐藏层的神经网络。