[发明专利]利用实例分割检测基于CNN的伪3D边界的方法及装置

说明书

本发明涉及一种利用实例分割检测能够根据检测出的对象的姿势来转换模式的基于CNN的伪3D边界框的方法，并且提供一种如下的方法，其特征在于，包括以下步骤：能够根据该方法将关于伪3D边界框的每个表面的阴影信息反映到学习中，能够通过激光雷达(Lidar)或雷达来获取伪3D边界框，并且利用照相机来分割表面，检测方法通过由学习装置使池化层对2D边界框应用池化运算而生成经池化的特征图，使FC层应用神经网络运算，使卷积层对表面区域应用卷积运算，并使FC层生成类损失和回归损失。

技术领域

本发明涉及一种利用实例分割(Instance Segmentation)检测能够根据对象姿势转换模式的基于CNN(Convolutional Neural Network)的伪3D边界框的方法及利用它的装置，更详细而言，涉及一种检测方法及装置、利用它的测试方法及装置，该检测方法为检测至少一个利用所述实例分割的基于所述CNN的所述伪3D边界框的方法，其特征在于，包括以下步骤：(a)在获取至少一个输入特征图和至少一个2D边界框时，学习装置通过使池化层对所述输入特征图上的与所述2D边界框对应的至少一个区域应用池化运算而生成经池化的特征图，并且通过使FC层对所述经池化的特征图应用至少一次神经网络运算而生成与所述伪3D边界框对应的框图案信息，其中输入特征图是通过对至少一个训练图像应用至少一次卷积运算而生成，且2D边界框包含训练图像内的至少一个对象；(b)所述学习装置(i)使分类层参照所述框图案信息来生成与所述对象的方向对应的类信息，(ii)使回归层参照所述框图案信息来生成关于与所述2D边界框的坐标对应的所述伪3D边界框的坐标的回归信息，(iii)通过使卷积层对所述经池化的特征图上的与所述伪3D边界框的每个表面(参照所述回归信息来生成)对应的每个区域应用卷积运算而生成至少一个实例特征图，并且使遮罩层参照所述实例特征图和所述类信息来分别生成与所述每个表面对应的遮罩；以及(c)所述学习装置通过使至少一个FC损失层参照所述类信息、所述回归信息以及与所述类信息及所述回归信息对应的至少一个GT来生成每个类损失及每个回归信息，从而通过反向传播所述类损失及所述回归损失来学习所述FC层的参数。

背景技术

自动驾驶汽车是无需人工输入就能感知周围环境并驾驶的车辆。自动驾驶汽车为了检测周围环境而使用如雷达、激光束、GPS、里程表和计算机视觉等的各种技术。

使用计算机视觉从二维单目图像(2D Monocular Image)中推断三维信息是在如自动驾驶及个人机器人等的应用领域中非常重要的操作。一般而言，在生成用于包围(Bounding)图像内的对象的2D框之后，由2D框构成3D模型。

为了包围对象而寻找2D框的现有技术通常使用基于模板的方法。作为用于生成2D框的现有技术中的一种技术为滑动窗口方法(Sliding Windows Method)。该方法为通过对具有各种比例的整个图像反复滑动如窗口等的框而检测如窗口等的框内的每个对象的方法。即，由于图像内的对象可具有彼此不同的大小或比例，因此通过多次缩小图像并使如窗口等的框再次向图像上方滑动而寻找大小不同的对象。

其他现有方法中的一种为锚框方法。该方法通过将锚框对准规定位置的中心并利用回归分析来确定各种锚框中的概率最高的锚框(例如，与GT对象重叠的区域最多的锚框)。

并且，虽然3D边界框(3D Bounding Box)由前面确定的锚框构成，但并不限于此。首先，3D边界框可具有六个表面，有可能需要彻底检索六个表面中的三个表面。第二，在为了确定3D边界框的表面中的三个表面而使用单一模板的情况下，如果对象的3D方向发生变化，则由于回归的边界线条件变化而有可能降低准确度。第三，获取3D边界框的现有方法需要较多的计算资源。例如，在为了寻找3D边界框而使直六面体模板或体素(Voxel)匹配时需要很长时间。

因此，本发明提出用于去除这种不必要的运算并提高检测准确度的新方法。

发明内容

技术问题

本发明的目的是解决上述所有问题。