[发明专利]信息处理设备、信息处理方法以及用户设备

说明书

本公开涉及信息处理设备、信息处理方法以及用户设备。根据一个实施例的信息处理设备包括处理电路。处理电路被配置为获取对象的深度图以及预定三维模型，其中预定三维模型具有变形参数，变形参数用于控制预定三维模型的至少一部分的变形。处理电路还被配置为确定预定三维模型的该至少一部分中的特征点与深度图的像素之间的对应关系。处理电路还被配置为基于所确定的对应关系，根据深度图生成对象的可应用变形参数的重建三维模型。

技术领域

本公开一般涉及信息处理，更具体地，涉及用于三维模型重建和/或深度图优化的信息处理设备、信息处理方法和用户设备。

背景技术

在传统的三维(3D)重建框架中，主要关注于根据静态对象的深度测量来重建对象的表面。一般地，可以通过三角化或飞行时间(ToF)等技术来获得深度信息。另外，存在多种用于提高深度图的质量的深度提升方法。在获得了高质量深度图的情况下，可以通过将深度图进行融合来实现对象表面的3D重建。这些重建方案通常用于重建静态对象。随着诸如RGB-D(颜色-深度)传感器等技术的发展，研究者开始使用例如RGB-D序列作为输入重建非刚性对象，这使得能够重现对象表面的被观察到的变形。

发明内容

根据已有方式重建的3D模型难以进行除了所观察到的变形之外的其他可能的变形。这是因为在这些方法中定义的变形是由连续的帧控制的，这些帧与输入的RGB-D序列之间存在稠密对应关系。

在下文中给出了关于本发明实施例的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，以下概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

根据一个实施例，提供一种信息处理设备，其包括处理电路。处理电路被配置为获取对象的深度图以及预定三维模型，其中预定三维模型具有变形参数，变形参数用于控制预定三维模型的至少一部分的变形。处理电路还被配置为确定预定三维模型的该至少一部分中的特征点与深度图的像素之间的对应关系。处理电路还被配置为基于所确定的对应关系，根据深度图生成对象的可应用变形参数的重建三维模型。

根据另一个实施例，提供一种信息处理方法，包括：获取对象的深度图以及预定三维模型，其中预定三维模型具有变形参数，变形参数用于控制预定三维模型的至少一部分的变形；确定预定三维模型的该至少一部分中的特征点与深度图的像素之间的对应关系；以及基于所确定的对应关系，根据深度图生成对象的可应用变形参数的重建三维模型。

另一方面，根据一个实施例，提供一种信息处理设备，其包括处理电路。处理电路被配置为：获取对象的深度图以及预定三维模型；将预定三维模型配准到基于深度图生成的三维坐标点以得到配准三维模型；以及基于配准三维模型对深度图进行优化。

根据另一个实施例，提供一种信息处理方法，包括：获取对象的深度图以及预定三维模型；将预定三维模型配准到基于深度图生成的三维坐标点以得到配准三维模型；以及基于配准三维模型对深度图进行优化。

此外，本发明实施例还包括一种用户设备，其包括用户接口装置，用户接口装置用于接收用户的操作指令。该用户设备包括或者通信耦合至根据上述实施例的信息处理设备，并且操作指令可以包括指定或选择预定三维模型的指令、指定或调整变形参数的指令或者与配准有关的指令。

根据上述方面的实施例，能够重建参数化的且可变形的3D模型，提供了一种由原始输入数据重建语义化3D模型的方式。此外，能够有效地基于已有3D模型进行对深度数据的优化。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：