[发明专利]物体区域信息引导下的RGB-D场景3D目标检测方法

权利要求书

1.物体区域信息引导下的RGB-D场景3D目标检测方法，其特征在于：具体包括如下步骤：

1)基于场景彩色图二维边界框生成三维斜锥体点云，并将RGB-D数据转换成点云数据；以场景RGB图及其深度信息作为输入，再利用二维目标检测器提取出图像中的二维对象区域并对场景中目标物体进行分类；在三维斜锥体点云生成过程中，利用已知的摄影机投影矩阵将待预测目标对象的二维边界框提升至三维斜锥体区域，从而场景中各目标物体均能获取其对应的斜锥体区域，该斜锥体定义目标对象的三维搜索空间；接着收集场景中每一个斜锥体内的所有采样点以形成整个场景的三维斜锥体点云；将目标对象的斜锥体朝向向场景的中心视图旋转，并使目标对象斜锥体中心轴与场景RGB图像平面正交以规范化各斜锥体；

2)结合斜锥体点云全局特征与局部特征去除背景点云，并用于在场景点云中进行前背景分离；利用斜锥体区域内的全局特征和各采样点局部特征将整个场景点云分割为前景点和背景点并把场景背景点剔除，最终集合所有前景点点云形成屏蔽性点云；

3)在场景斜锥体前景点云中进行3D目标检测，并在规范化坐标中细化建议以获得最终目标检测结果；对每一个目标物体中心进行投票以分别产生投票中心点，然后聚类中心点附近的采样点，同时利用斜锥体区域内得到目标物体信息生成高质量的目标建议，并经三维非最大抑制生成3D目标框，最终完成3D目标检测。

2.如权利要求1所述的物体区域信息引导下的RGB-D场景3D目标检测方法，其特征在于：所述步骤2)具体为：以场景三维斜锥体点云数据作为输入，利用输入变换和特征变换，经权值共享的多层感知器并利用最大池操作聚合采样点全局特征；仅利用斜锥体点云全局特征难以对各采样点进行前景背景分割，故在得到斜锥体点云全局特征后需要进一步将全局特征与各采样点局部特征进行连接，并将其反馈给各采样点特征；然后，基于组合点特征提取新的采样点特征，使每个采样点特征能同时具备局部信息和全局信息，即相当于单个采样点在全局特征中进行了一次检索；最后对每个采样点进行打分输出，从而实现场景前景点云和背景点云的分割；场景斜锥体点云经分割后能提取分类为感兴趣目标对象的采样点形成前景点云，并剔除场景背景点以形成用于3D目标预测的屏蔽性点云。