[发明专利]对图像进行语义分割的方法

说明书

对图像进行语义分割的方法。一种对具有二维像素排布的图像进行语义分割的方法，该方法包括以下步骤：将图像的至少一部分分割成超像素；确定所述超像素的图像描述符，其中，每个图像描述符都包括多个图像特征；将超像素的图像描述符馈送至卷积网络；以及借助于卷积网络，根据语义类别来标注图像的像素，其中，超像素被指派给跨图像延伸的规则网格结构的对应位置，并且基于该指派，图像描述符被馈送至卷积网络。

技术领域

本发明涉及一种用于对具有二维像素排布的图像进行语义分割的方法。

背景技术

自动化场景理解是现代计算机视觉领域的重要目标。实现自动场景理解的一种方式是图像的语义分割，其中，根据语义类别对图像的各个像素进行标注。这种图像的语义分割在高级驾驶员辅助系统(ADAS)的对象检测环境中尤其有用。例如，图像的语义分割可以包括将像素划分成属于道路的区域和不属于道路的区域。在这种情况下，语义类别是“道路”和“非道路”。根据本申请，可以存在超过两个语义类别，例如“行人”、“汽车”、“交通标志”等。因为诸如道路区域的预定义区域的外观是可变的，所以正确标记像素是具有挑战性的任务。

机器学习技术使能实现对图像场景的视觉理解，并有助于多种对象检测和分类任务。这种技术可以使用卷积网络。目前，训练基于网络的图像处理系统主要有两种方法。这两种方法在输入数据模型方面有所不同。其中一种方法是基于图像的逐块(patch-wise)分析，即，针对每个单个图像提取并分类具有固定尺寸的矩形区域。由于关于空间环境的不完整信息，这种方法仅具有有限的性能。一个特定问题是最近邻搜索中不希望配对的可能性。此外，固定块可以跨越多个不同的图像区域，这可以劣化分类性能。

还有基于全图像分辨率的方法，其中，分析原始尺寸下图像的所有像素。然而，这种方法容易产生噪声并且需要大量的计算资源。具体而言，全图像分辨率需要深度和复杂的卷积网络。这种网络需要强大的处理单元，并且不适于实时应用。具体来说，深度和复杂的卷积网络不适用于自动驾驶车辆中的嵌入式装置。

Kangru Wang等人的论文“Ground Plane Detection with a Local Descriptor”XP055406076,URL:http://arxiv.org/vc/arxiv/papers/1609/1609.08436v6.pdf,2017-04-19公开了一种用于检测图像中的道路平面的方法。该方法包括以下步骤：计算视差纹理图，基于视差特征定义各个像素的描述符，分割视差纹理图并应用卷积神经网络来标注道路区域。

发明内容

本发明的目的是提供一种用于图像进行语义分割的方法，其能够以低计算量提供准确的结果。

根据本发明，该目的通过权利要求1所述的方法来达到。

根据本发明的方法包括以下步骤：

将图像的至少一部分分割成超像素，其中，所述超像素是包括具有相似图像特征的多个像素的相干图像区域；

确定用于所述超像素的图像描述符，其中，各个图像描述符都包括多个图像特征；

将所述超像素的所述图像描述符馈送至卷积网络；以及

借助于所述卷积网络，根据语义类别来标注所述图像的像素，其中，

所述超像素被指派给跨所述图像延伸的规则网格结构的对应位置，并且基于所述指派，所述图像描述符被馈送至所述卷积网络。

将所述超像素指派给规则网格结构的对应位置借助于网格投影处理来执行。这种投影处理可以以快速且容易的方式执行。优选地，所述投影以规则网格结构为中心。