[发明专利]信息处理设备、信息处理方法以及用户设备

权利要求书

1.一种信息处理设备，包括：

处理电路，被配置为

获取对象的深度图以及预定三维模型，其中所述预定三维模型具有变形参数，所述变形参数用于控制所述预定三维模型的至少一部分的变形；

确定所述预定三维模型的所述至少一部分中的特征点与所述深度图的像素之间的对应关系；以及

基于所确定的对应关系，根据所述深度图生成所述对象的可应用所述变形参数的重建三维模型。

2.根据权利要求1所述的信息处理设备，其中，所述对应关系的确定包括：

将所述预定三维模型配准到基于所述深度图生成的点云；以及

将配准后的所述特征点投影到所述深度图的图像平面。

3.根据权利要求1所述的信息处理设备，处理电路还被配置为：

将所述预定三维模型配准到基于所述深度图生成的点云，以得到配准三维模型；以及

基于所述配准三维模型对所述深度图进行优化。

4.根据权利要求3所述的信息处理设备，其中，所述优化包括：

通过求解目标函数得出优化深度图，其中，所述目标函数包含第一保真项和第二保真项，所述第一保真项与所述对象的当前深度图的深度值有关，所述第二保真项与基于所述配准三维模型得到的深度图的深度值有关。

5.根据权利要求4所述的信息处理设备，其中，所述目标函数还包括正则项，所述正则项用于保持所述优化深度图的平滑度。

6.根据权利要求3所述的信息处理设备，其中，处理电路被配置为迭代地进行所述配准和所述优化。

7.根据权利要求2或3所述的信息处理设备，其中，所述配准包括：通过迭代最近点方法将所述预定三维模型配准到所述点云。

8.根据权利要求2或3所述的信息处理设备，其中，所述配准包括：将所述预定三维模型与所述点云做整体的刚性配准；在所述刚性配准的基础上调整所述变形参数，将所述预定三维模型与所述点云做局部的非刚性配准；迭代进行所述刚性配准和所述非刚性配准，在迭代过程中，参考用户指令以提高匹配准确度，从而使所述预定三维模型的形状配合所述点云。

9.根据权利要求1所述的信息处理设备，其中，所述重建三维模型的生成包括：

基于所确定的所述预定三维模型的特征点与所述深度图的像素之间的对应关系，根据所述预定三维模型的特征点间的拓扑关系确定所述深度图的像素间的拓扑关系；以及

基于所述深度图的像素间的拓扑关系确定所述重建三维模型的特征点间的拓扑关系。

10.根据权利要求9所述的信息处理设备，其中，所述重建三维模型的特征点间的拓扑关系的确定包括：

当两个或更多个所述深度图中的两个或更多个像素对应于所述预定三维模型的同一个特征点时，通过求坐标平均来获得对应该特征点的一个像素位置；将三维空间划分为体素，将所述深度图转化为三维点云，通过最近邻原则确定点云和体素之间的关系；将多个三维点云融合之后得到一个基于体素的重建三维模型，有值的体素即所述重建三维模型的特征点；通过所述深度图的像素、所述点云和所述体素之间的对应关系，确定所述重建三维模型特征点间的拓扑关系。

11.根据权利要求1至6中任一项所述的信息处理设备，还包括：

图像获取装置，被配置为获取所述对象的深度图。

12.根据权利要求1至6中任一项所述的信息处理设备，还包括：指令输入装置，被配置为获取用户的操作指令，并且

所述处理电路还被配置为基于所述操作指令控制所述重建三维模型和/或所述预定三维模型的变形。

13.根据权利要求12所述的信息处理设备，其中，对变形的控制包括：根据邻近特征点的拓扑信息导引不具有拓扑信息的特征点的运动。