[发明专利]三维图像的基于识别的对象分割

说明书

提供用于在场景的3D图像中分割对象的技术。示例性方法可以包括接收场景的3D图像帧。每个3D图像帧与产生3D图像帧的深度照相机的姿态相关联。方法还可以包括：基于对象识别来检测每个帧中的对象；将标签与检测到的对象相关联；计算对象周围的2D限位框；并且计算限位框的中心的3D位置。方法还可以包括：基于标签和限位框的中心的位置，将检测到的对象与从先前接收的图像帧创建的现有对象边界集匹配；或者如果匹配失败，则创建与检测到的对象相关联的新对象边界集。

背景技术

存在可能需要从场景的三维(3D)图像中分割出一个或多个对象的许多应用。例如，在许多基于计算机视觉的任务中的初步操作是从对象出现的场景中分割出一些特定的感兴趣对象，以用于后续分析。需要3D分割的另一示例性应用是盒体测量。来自深度照相机的3D图像提供照相机与场景内的对象之间的距离，其可以用于获得诸如盒体或箱体的对象的表面积或体积的测量结果。然而，首先需要执行感兴趣对象的3D分割，以确保用于计算对象尺寸的采样点不属于周围环境。用于3D分割的又一示例性应用在于机器人领域，更具体地，在于导航机器人通过任意环境的问题。通常，机器人必须执行各种计算以理解场景的几何形状，这允许它做出某些决定。例如，机器人必须能够估计其路径上两个相邻对象之间的距离，以决定其是否能够从对象之间通过。分割问题通常被认为是困难的并且现有技术受到各种限制和问题的困扰，特别是当对象由具有不同几何形状的多个部分组成时或者当对象包括不同材料和纹理时。

附图说明

本专利或申请文件包含至少一幅彩色附图。具有彩色附图的本专利或专利申请公开的副本将在请求和支付必要费用后由主管局提供。

所要求保护的主题的实施例的特征和优点将随着以下详细描述的进行并且参考附图而变得显而易见，其中相同的数字表示相同的部分。

图1是根据本文公开的某些实施例的用于三维(3D)图像分割的系统的顶层框图。

图2示出根据本文公开的某些实施例的示例性彩色图像和深度图。

图3示出根据本文公开的某些实施例的3D图像中的分割对象的示例。

图4是根据本文公开的某些实施例配置的分割电路的更详细框图。

图5示出根据本文公开的某些实施例的二维(2D)限位框的示例。

图6示出根据本文公开的某些实施例的与对象边界集中的像素相关联的示例性位置和射线。

图7是示出根据本文公开的某些实施例的用于边界调整的方法的流程图。

图8A、图8B、图8C和图8D示出根据本文公开的某些实施例的用于边界调整的射线的示例。

图9是示出根据本文公开的某些实施例的用于表面平面去除的方法的流程图。

图10是示出根据本文公开的某些实施例的用于3D图像分割的方法的流程图。

图11是示意性地示出根据本文公开的某些实施例配置的用于从3D图像分割对象的系统平台的框图。

尽管以下具体实施方式将参考说明性实施例进行，但是本领域技术人员将清楚其许多替换、修改和变化。

具体实施方式

通常，本公开提供用于在场景的3D图像中分割感兴趣对象的技术。与常规分割系统不同，本公开实现一种自上而下的方法，其包括初始三维检测对象并且随后去除场景中不是检测对象的部分的元素。利用如此检测和隔离的对象，然后可以辨识3D空间中指定整个对象的边界的对象边界点的集合。