[发明专利]利用实例分割检测基于CNN的伪3D边界的方法及装置

权利要求书

1.一种利用实例分割检测至少一个基于CNN的3D边界框的方法，其特征在于，包括以下步骤：

(a)在获取至少一个输入特征图和至少一个2D边界框时，学习装置通过使池化层对所述输入特征图上的与所述2D边界框对应的至少一个区域应用池化运算而生成经池化的特征图，并通过使FC层对所述经池化的特征图应用至少一次神经网络运算而生成与伪3D边界框对应的框图案信息，其中所述输入特征图是通过对至少一个训练图像应用至少一次卷积运算而生成，且所述2D边界框包含所述训练图像内的至少一个对象；

(b)所述学习装置：(i)通过使分类层参照所述框图案信息来生成与所述对象的方向对应的类信息，(ii)使回归层参照所述框图案信息来生成关于与所述2D边界框的坐标对应的所述伪3D边界框的坐标的回归信息，以及(iii)使卷积层对所述经池化的特征图上的与所述伪3D边界框的参照所述回归信息来生成的每个表面对应的每个区域应用卷积运算而生成至少一个实例特征图，以及使遮罩层参照所述实例特征图和所述类信息来生成与所述每个表面对应的每个遮罩；以及

(c)所述学习装置通过使至少一个FC损失层参照所述类信息、所述回归信息以及与所述类信息及所述回归信息对应的至少一个GT来生成每个类损失及每个回归损失，从而通过反向传播所述类损失及所述回归损失来学习所述FC层的参数。

2.根据权利要求1所述的方法，其特征在于，

在所述(b)步骤之后，所述学习装置通过使至少一个遮罩损失层参照所述每个遮罩和与所述每个遮罩对应的遮罩GT来生成至少一个遮罩损失，从而通过反向传播所述遮罩损失来调整所述遮罩层及所述卷积层中的至少一部分参数。

3.根据权利要求1所述的方法，其特征在于，

所述遮罩层包含全卷积网络的至少一部分。

4.根据权利要求1所述的方法，其特征在于，

所述遮罩为二元遮罩，所述二元遮罩用于区分判断为在每个所述实例特征图上存在所述对象的至少一个像素和判断为在每个所述实例特征图上不存在所述对象的至少一个像素。

5.根据权利要求1所述的方法，其特征在于，

在所述(b)步骤中，所述学习装置通过使所述回归层利用以下(i)和(ii)中的至少一个来生成所述回归信息：(i)从所述2D边界框的顶点到与所述对象的前面和后面中的每个对应的每个实例边界框的顶点的每个位移；以及(ii)从所述2D边界框的中心到所述每个实例边界框的每个中心的每个位移以及所述2D边界框的宽/高比率与所述实例边界框的每个宽/高比率之间的每个差异。

6.根据权利要求5所述的方法，其特征在于，

在将所述2D边界框的形成对角线的每个顶点设为第一顶点和第二顶点、将其至少一个顶点与所述第一顶点匹配的实例边界框设为第一实例边界框、并将其至少一个顶点与所述第二顶点匹配的实例边界框设为第二实例边界框的情况下，

所述学习装置：(i)连接第一实例边界框的顶点及第二实例边界框的顶点并使所述顶点位于所述2D边界框的第一对两个相邻的线上，连接第一实例边界框的顶点及第二实例边界框的顶点并使所述顶点位于所述2D边界框的第二对另外两个相邻的线上，其中分别在所述第一对相邻线及所述第二对相邻线中的所述两个相邻的线不与形成所述对角线的每个顶点中的任一顶点交会；(ii)在将未存在于所述2D边界框的任一线上的第二实例边界框的顶点与所述第一顶点连接之后，将未存在于所述2D边界框的任一线上的所述第一实例边界框的顶点与所述第二顶点连接，从而参照所述类信息来生成所述伪3D边界框。

7.根据权利要求1所述的方法，其特征在于，

所述学习装置从基于CNN的对象检测器获取所述输入特征图和所述2D边界框。