[发明专利]用于图像中的对象的姿态估计和模型检索

说明书

提供用于选择三维模型的技术。可以获得包含对象的输入图像，并且可以确定所述输入图像中的所述对象的姿态。可以获得表示在所述所确定的姿态中的一或多个对象的一或多个候选三维模型。从所述一或多个候选三维模型中，可以确定候选三维模型以表示所述输入图像中的所述对象。

相关申请的交叉参考

本申请主张2017年11月15日递交的第62/586,449号美国临时申请的权益，所述申请特此以全文引用的方式并入本文中并且出于所有目的。

技术领域

本发明大体上涉及用于图像中的对象的姿态估计和模型检索，并且更确切地说涉及估计在图像中描绘的对象的姿态并且确定用于表示对象的三维模型。

背景技术

确定存在于真实图像中的对象和那些对象的属性对于许多应用都是有用的。举例来说，可以确定模型以用于表示图像中的对象，并且可以用于促进各种系统的有效操作。此类应用和系统的实例包含扩增现实(AR)、机器人技术、汽车和航空、三维场景理解、对象抓取、对象追踪，外加许多其它应用和系统。

在AR环境中，举例来说，用户可查看人工或虚拟图形与用户的自然周围环境的集成。AR应用允许待处理的真实图像将虚拟对象添加到图像并且在多个维度中对齐虚拟对象与图像。举例来说，存在于现实中的现实世界对象可以使用类似于现实世界对象或是现实世界对象的精确匹配的模型表示。举例来说，当用户继续查看AR环境中的他的或她的自然周围环境时表示坐在跑道上的真实飞机的虚拟飞机的模型可以在AR装置(例如，眼镜、护目镜，或其它装置)的视野中呈现。当查看现实世界场景时查看者可以能够操控模型。在另一实例中，可使用具有AR环境中的不同的色彩或不同的物理属性的模型来识别和渲染坐在桌子上的实际对象。在一些情况下，并不存在于现实中的人工虚拟对象或用户的自然周围环境的实际对象或结构的计算机产生的复本也可以被添加到AR环境。

发明内容

在一些实施例中，描述了用于估计在图像中检测到的对象的姿态并且确定用于表示对象的三维模型的技术和系统。举例来说，本文中所描述的技术和系统可以检测输入图像中的一或多个目标对象。对于在图像中检测到的目标对象中的每一个，可以获得和分析多个3D模型以确定用于对象中的每一个的一或多个候选3D模型。举例来说，3D模型可以从具有不同的类别和不同的几何形状的预定义3D模型的数据库获得。在一些实例中，3D模型可以包含表示各种类别的对象的3D网格。一或多个目标对象的3D姿态可以被估计并且用于渲染针对目标对象确定的一或多个候选3D模型的图像或视图。举例来说，图像可以通过在针对目标对象估计的姿态中的候选3D模型经渲染。举例来说，经渲染的图像可以包含在所估计的姿态中的3D模型的深度图。

在一些情况下，可以识别输入图像中的一或多个目标对象的类别。举例来说，目标对象的类别可以用于从多个3D模型(例如，来自预定义的数据库)中选择用于目标对象的一或多个候选3D模型。在一些情况下，可以估计一或多个目标对象的相对大小。目标对象的所估计的大小可以用于渲染用于目标对象的候选3D模型的图像或视图。举例来说，在根据目标对象的所估计的大小拉伸或压缩3D模型(例如，模型的3D网格)之后可以从目标对象的所估计的3D姿态中渲染候选3D模型的图像(例如，深度图)。除了将3D模型放置在所估计的姿态中之外修改候选3D模型的大小提供了呈接近于输入图像中的目标对象的形式的3D模型。