[发明专利]将多个预定类别的标签分配给图像的像素的装置和方法

说明书

将多个预定类别的标签分配给图像的像素的装置和方法。一种用于将多个预定类别之一的标签分配给图像中的每个像素的装置，所述装置被配置成接收由摄像机拍摄的图像，所述图像包含多个像素；使用编码器卷积神经网络来生成针对每个像素的概率值，每个概率值指示所述相应像素与所述多个预定类别之一相关联的概率；根据所述概率值为每个像素生成类别预测值，所述类别预测值预测所述多个预定类别中的、与所述相应像素相关联的类别；使用边缘检测算法来预测在所述图像中示出的对象之间的边界，所述像素的所述类别预测值被用作所述边缘检测算法的输入值；以及将所述多个预定类别之一的标签分配给所述图像中的每个像素。

技术领域

本发明涉及用于将多个预定类别的标签分配给图像的像素的装置和方法。

背景技术

语义(semantic)分割的目标是利用若干预定类别(例如，汽车、行人、道路、建筑物等)中的一个来标记给定输入图像中的每个像素。具有这种可靠的像素式(pixel-wise)标签将允许更有效且更准确的视觉算法。例如，知道了道路在哪里便可以更快地执行车道检测。如果仅在车辆内对头灯和尾灯进行搜索，则可以大大减少头灯和尾灯的检测误差(即，误报)。

由于现代图像包含数百万个像素，所以该任务很快变得对计算要求极高，甚至对于与像素数量线性地成比例的最有效算法也是如此。在交互式运行时间中，这种算法对嵌入式系统的适用性将需要高端系统，这转而将导致明显更高的产品成本和降低的竞争力。当前现有技术的算法通常报告在诸如图形处理单元(GPU)的高电压昂贵硬件上的2-4帧每秒(FPS)的执行周期。

迄今为止最准确的算法使用卷积神经网络(CNN)。CNN是一种被设计成模仿从眼睛到视觉皮层的人类视觉处理系统的人工神经网络。它们由任意数量的连续层组成，这些连续层被一起训练以完成给定的视觉任务，例如，对象分类。每一层学习识别与越来越复杂的特定任务相关的特征。例如，针对在图像中将人与猫分开的任务，第一层通常学习寻找边缘和颜色梯度，例如，肤色。然后，第二层学习将这些边缘和颜色组合成如手指相对于脚爪/爪子、尖耳朵等的简单形状。然后，最后一层寻找像四条腿的高级特征。

用于语义分割的CNN通常呈现允许密集预测的编码器-解码器结构。编码器模型被训练“看到”和“理解”输入图像，同时创建输入的紧凑、高维数学表述。然后，解码器获取编码器的输出并逐渐将其内插回成原始比例，同时生成正确的标签(参见Jonathan Long、Evan Shelhamer以及Trevor Darrell：“Fully Convolutional Networks forSemanticSegmentation”，Proceedings of the IEEE Conference on Computer Vision andPattern Recognition，2015，https://people.eecs.berkeley.edu/～jonlong/long_shelhamer_fcn.pdf；和Vijay Badrinarayanan、Alex Kendall以及Roberto Cipolla：“SegNet：A Deep Convolutional Encoder-Decoder Architecture for ImageSegmentation”，arXiv preprint arXiv:1511.00561(2015)，https://arxiv.org/pdf/1511.00561.pdf)。该技术已被证明是准确的，但仍有计算上的要求。由解码器完成的计算量(FLOPS)通常大约是编码器的FLOPS的两倍，并且至少是该量的1.33倍。