[发明专利]从跟踪会话的对象和背景的渐进式3D点云划分

说明书

本系统和方法的实施例可以提供提供点云清理任务的自动、可靠性能的技术。实施例可提供从增强现实(AR)应用中的跟踪会话渐进地学习对象‑背景划分的能力。通过将来自云的点与实况视频中的区域匹配，3D点云可以用于在AR应用中跟踪。具有许多匹配的3D点更可能是对象的一部分，而很少具有匹配的3D点更可能是背景的一部分。这种方法的优点包括不需要人工工作来进行划分，并且因为在多个环境中跟踪对象，结果可以随时间不断改进。

背景技术

本发明涉及用于通过使用对应于对象或背景的点的模糊划分来自动化点云清除来生成增强现实内容的技术。

3D点云是用于保存3D模型的标准格式，其可以包括数千个点，每个点具有其位置和颜色。通常，在3D重构(计算流水线，其在给定对象或场景的视频的情况下计算对象或场景的模型的3D几何结构)期间创建点云。通常，当从视频重构3D对象时，产生的点云不仅包含对象，而且包含一些背景元素，诸如对象放置在其上的桌子、墙壁、地板和在视频上看到的其他对象。对于3D模型的许多应用，重要的是具有干净的点云，仅列出属于对象的点。因此，清除模型中的不属于对象的部分的任务是非常重要的。这个任务有时被称为“‘对象’和‘背景’的划分”。

用于划分的一种方法是使用交互式应用来手动删除背景点，该交互式应用能够标记背景区域并移除它们。诸如混合器(Blender)和MeshLab的工具是这种方法的示例，其需要人工工作和时间的投资，并且因此是不可扩展的。第二种方法是使用某种启发法，例如，将距相机的距离阈值化或计算紧凑团块(compact blobs)。在对象匹配关于其尺寸和距背景元素的距离的假设的情况下，这些方法将失败。

因此，需要提供点云对象-背景划分任务的自动、可靠执行的技术。

发明内容

本系统和方法的实施例可提供提供点云划分任务的自动、可靠执行的技术。实施例可提供从增强现实(augmented reality，AR)应用中的跟踪会话渐进地学习对象-背景划分的能力。通过将来自云的点与实况视频中的区域匹配，3D点云可以用于在AR应用中跟踪。具有许多匹配的3D点更可能是对象的一部分，而很少具有匹配的3D点更可能是背景的一部分。这种方法的优点包括不需要人工工作来进行划分，并且因为在多个环境中跟踪对象，结果可以随时间不断改进。

例如，在一实施例中，生成增强现实内容的方法可在计算机中实现，该计算机包括处理器、可由该处理器访问的存储器、以及存储在该存储器中并可由该处理器执行的计算机程序指令，并且所述方法可以包括：当相机在场景周围移动时，在计算机系统处跟踪视频流中的场景中的对象的3D模型，其中，跟踪包括针对视频流中的每个帧的每个点确定该点是否对应于对象或者该点是否对应于背景，在计算机系统处，基于该点对应于对象的概率和该点对应于背景的概率，将多个点中的每一个划分成对应于对象的点或对应于背景的点，其中对于每个点，该点对应于对象的概率越高，跟踪将该点越频繁地识别为内围点(inlier)，并且对于每个点，该点对应于背景的概率越高，跟踪将该点越频繁地识别为离群点(outlier)，以及在计算机系统处基于对象的经划分的3D模型来生成增强现实内容。

在实施例中，跟踪可以包括使用对象的划分的3D模型来估计相机相对于对象的3D模型的姿态。对象的3D模型可最初使用每一点的概率的默认设置来划分，且对每一帧，基于跟踪确定该点对应于对象还是对应于背景来更新每一点的概率。每个点的概率的默认设置可以是.5，并且当跟踪将该点与视频帧中的像素匹配时，可以增加概率，并且当跟踪未能将该点与视频帧中的像素中的任何像素匹配时，可以降低概率。场景中的对象的3D模型可以包括3D点云，其包括多个点，该多个点包括对应于对象的至少一些点和对应于场景的背景的至少一些点。视频流可从在场景周围移动的相机获得。