[发明专利]一种利用标签编码进行中间监督的三维目标检测方法

权利要求书

1.一种利用标签编码进行中间监督的三维目标检测方法，其特征在于，包括以下步骤:

步骤1、首先使用由两个SA层和两个特征传播层顺序连接而成的pointNet++网络作为辅助网络p；其中两个SA层结构相同，都包含三个模块，第一个模块是采样层，负责对输入的N个点云进行随机采样，得到只包含S个点云的点云集合；第二个模块是分组层，设置固定的半径长度R，以点云集合中的每一个点云为圆心点，以R为半径，分别画圆，将每个圆内包含的点云分成一个组；第三个模块是PointNet层，将第二个模块得到的每个组内的点云分别编码成特征向量；两个特征传播层结构相同，均由全连接网络组成；

步骤2、进行数据准备，首先下载三维室内场景数据集SUNRGB-D，将数据集SUNRGB-D中的RGB图片和深度图片通过坐标系映射转换成场景的原始点云数据，点云数据为N×3的矩阵，其中矩阵的行数N表示点云个数为N，矩阵的列数为3表示每个点云在三维空间中的三个位置坐标x,y,z；接下来根据数据集SUNRGB-D中的标签盒信息提取每个场景全部点云中的所有目标物体点云，得到标签点云；其中，所述标签盒信息是指下载的三维室内场景数据集SUNRGB-D中标记好的目标物体信息，即场景中包围目标物体的空心立方体，由中心点和长宽高表示；

步骤3、将步骤1的辅助网络p插入到三维目标检测主干网络的特征提取模块和目标边界框检测模块之间；三维目标检测主干网络采用Votenet网络，将辅助网络p插入的方式是在三维目标检测公式上添加一个中间监督项其具体公式如下：

θ_f表示主干网络的特征提取模块网络参数；θ_d表示主干网络的目标边界框检测模块网络参数；θ^*_f表示优化后的主干网络的特征提取模块网络参数；θ^*_d表示优化后的主干网络的目标边界框检测模块网络参数；表示输入到辅助网络的标签点云；I_p表示输入到主干网络的原始点云；y表示数据标签；θ_p表示辅助网络参数；L_det(d(f(I_p；θ_f)；θ_d),y)表示主干网络目标边界框检测模块的损失，由分类损失和目标边界框回归损失组成；d(f(I_p；θ_f)；θ_d)代表主干网络的目标边界框检测模块，以下简称检测模块；f(I_p；θ_f)代表主干网络的特征提取模块；代表辅助网络；表示加入的监督项；λ是平衡系数；

其中监督项包含主干网络的特征提取模块提取的点云特征向量和辅助网络提取的点云特征向量的距离损失以及辅助网络输出结果的检测损失，监督项公式展开如下所示：

其中f(I_p；θ_f)表示主干网络的特征提取模块；θf表示主干网络的特征提取模块的网络参数；y代表真实数据的标签；I_p表示输入到主干网络的原始点云；表示输入到辅助网络的标签点云；代表辅助网络；θ_p表示辅助网络参数；表示主干网络特征提取模块f的输出结果与辅助网络p的输出结果的距离损失；表示辅助网络输出结果的检测损失；

其中所述距离损失的计算公式展开如下：

其中LN(·)表示归一化层；||·||表示Smooth Loss1；x_f和x_p分别表示从主干网络特征提取模块和辅助网络中获得的特征向量；代表辅助网络；min表示求最小值运算；

步骤4、进行第一步交互训练：分别输入原始点云和标签点云到主干网络和辅助网络同时进行网络参数交互训练来优化各自的网络参数；交互训练的具体实现方法是通过如下公式优化辅助网络

θ^*_d1表示优化后的主干网络的检测模块的网络参数；θ_p^*表示优化后的辅助网络参数；θ_f表示主干网络的特征提取模块网络参数；θ_d1表示检测模块网络参数；L_det(d(f(I_p；θ_f)；θ_d1),y)和分别表示主干网络的检测损失和辅助网络的检测损失，两个损失都由分类损失和边界框回归损失组成；y表示数据标签；表示主干网络特征提取模块f输出与辅助网络p输出的距离损失；λ₁和λ₂都是平衡系数，分别设置为1；

公式(4)利用三种不同的Loss损失函数进行模型训练，从左到右的损失项依次是：辅助网络检测损失、主干网络检测损失及主干网络特征提取模块提取的特征向量与辅助网络提取的特征向量的距离损失在这一训练过程中，利用Smooth Loss1损失计算主干网络特征提取模块输出和辅助网络输出的距离损失，将辅助网络输出结果作为Smooth Loss1方法的第二个参数，主干网络特征提取模块输出作为Smooth Loss1方法的第一个参数，从而禁止从主干网络到辅助网络的梯度流来防止点云的全局特征对目标实例特征产生直接影响；经本步骤训练得到优化后的辅助网络p；

步骤5、利用步骤4学习得到的辅助网络p监督主干网络，首先摒弃步骤4的训练方式，固定辅助网络的参数不变，只添加步骤3中的主干网络特征提取模块提取的特征向量与辅助网络提取的特征向量的距离损失到主干网络的检测损失函数进行训练，如下公式所示：

θ_f1表示主干网络的特征提取模块网络参数，θ_d2表示主干网络的检测模块网络参数，θ*_f1表示优化后的特征提取模块网络参数，θ*_d2表示优化后的检测模块网络参数；d(f(I_p；θ_f1)；θ_d2)表示主干网络检测模块；f(I_p；θ_f1)表示主干网络特征提取模块；L_det(d(f(I_p；θ_f1)；θ_d2),y)表示主干网络检测模块损失，由分类损失和边界框回归损失组成；θ_p^*表示优化后的辅助网络参数；y表示数据标签信息；λ表示平衡系数；表示优化后的辅助网络；表示主干网络提取特征模块f输出与辅助网络p输出的距离损失；

步骤6、经过步骤4和步骤5的训练后，实现了辅助网络通过标签点云对主干网络特征提取模块进行约束的目的，此时的主干网络参数达到约束后的最优，接下来直接将辅助网络移除，直接输入原始点云到主干网络即可输出检测结果，检测结果包含每个场景中所有检测到的物体包围盒和类别，包围盒即场景中包围目标物体的空心立方体，由中心点和长宽高表示。