[发明专利]三维图像的基于识别的对象分割

权利要求书

1.一种处理器实现的用于对象的三维（3D）分割的方法，所述方法包括：

通过处理器接收场景的多个3D图像帧，其中，每个所述3D图像帧与产生所述3D图像帧的深度照相机的姿态相关联；

基于对象识别，通过所述处理器检测每个所述3D图像帧中的一个或多个对象；

通过所述处理器将标签与检测到的对象相关联；

通过所述处理器计算包含检测到的对象的二维（2D）限位框和所述2D限位框的中心的3D位置；

通过所述处理器将检测到的对象与从先前接收的3D图像帧创建的现有对象边界集匹配，所述匹配基于所述标签和所述2D限位框的中心的3D位置；以及

响应于所述匹配失败，通过所述处理器创建与检测到的对象相关联的新对象边界集。

2.根据权利要求1所述的方法，其中，所述对象边界集包括与所述对象的边界对应的2D限位框中的像素的3D位置，并且还包括与所述像素相关联的向量，所述向量指定从与对应姿态相关联的深度照相机的位置到每个所述像素的射线。

3.根据权利要求2所述的方法，还包括：调整所述对象边界集以去除根据所述深度照相机的不同姿态产生的重复像素，所述去除基于所述像素距照相机的距离并且还基于关联向量的方向。

4.根据权利要求3所述的方法，还包括：调整所述对象边界集以去除与遮挡对象相关联的像素。

5.根据权利要求1所述的方法，还包括：

检测所述场景中的表面平面；

计算检测到的表面平面与所述对象边界集的交集；

计算所述交集中的像素与检测到的表面平面中的像素的比率；并且

如果所述比率小于阈值，则从所述对象边界集中去除检测到的表面平面中的像素。

6.根据权利要求5所述的方法，其中，检测所述表面平面还包括：

将法向量计算为所述3D图像帧的相邻深度像素的差异的叉积；

基于法向量的值和空间接近度来对所述法向量进行聚集；并且

基于最小二乘拟合将平面拟合到每个集群中。

7.根据权利要求1或2所述的方法，其中，所述深度照相机的每种姿态通过以下之一来估计：使用基于对所述3D图像帧的深度像素执行的迭代最近点（ICP）匹配操作的照相机变换；或使用对所述3D图像帧的红-绿-蓝（RGB）像素执行的同时定位和映射（SLAM）操作；或基于所述深度照相机中的惯性传感器提供的数据。

8.根据权利要求1或2所述的方法，其中，所述对象识别基于模板匹配、使用词袋视觉模型的分类和使用卷积神经网络的分类中的至少一个。

9.一种用于对象的三维（3D）分割的系统，所述系统包括：

对象检测电路，用于：基于对象识别，在场景的多个3D图像帧中的每一个中检测一个或多个对象，其中，所述多个3D图像帧由深度照相机捕获，每个所述3D图像帧与所述深度照相机的姿态相关联；将标签与检测到的对象相关联；并且计算包含检测到的对象的二维（2D）限位框和所述2D限位框的中心的3D位置；

对象边界集匹配电路，用于将检测到的对象与从先前接收的3D图像帧创建的现有对象边界集匹配，所述匹配基于所述标签和所述2D限位框的中心的3D位置；以及

对象边界集创建电路，用于响应于所述匹配失败，创建与检测到的对象相关联的新对象边界集。

10.根据权利要求9所述的系统，其中，所述对象边界集包括与所述对象的边界对应的2D限位框中的像素的3D位置，并且还包括与所述像素相关联的向量，所述向量指定从与对应姿态相关联的深度照相机的位置到每个所述像素的射线。

11.根据权利要求10所述的系统，还包括：边界调整电路，用于调整所述对象边界集以去除根据所述深度照相机的不同姿态产生的重复像素，所述去除基于所述像素距照相机的距离并且还基于关联向量的方向。