[发明专利]用于图像中的对象的姿态估计和模型检索

权利要求书

1.一种选择三维模型的方法，所述方法包括：

获得包含对象的第一输入图像；

确定所述第一输入图像中的所述对象的姿态；

获得表示一或多个对象的多个候选三维模型；

获得针对所述第一输入图像中的所述对象的描述符和针对所述多个候选三维模型的多个描述符；

基于针对所述第一输入图像中的所述对象的所述描述符和针对所述多个候选三维模型的所述多个描述符，从所述多个候选三维模型中确定候选三维模型以表示一或多个图像中的所述对象；

获得第二输入图像，所述第二输入图像包括与所述第一输入图像中的所述对象的所述姿态不同的姿态的对象；以及

基于所述第二输入图像中的所述对象的所述姿态与所述第一输入图像中的所述对象的所述姿态之间的差异，调节输出图像中的所述候选三维模型的姿态。

2.根据权利要求1所述的方法，其进一步包括基于所述候选三维模型以及所述第二输入图像产生所述输出图像。

3.根据权利要求1所述的方法，其进一步包括：

接收用户输入以操控所述候选三维模型；以及

基于所述用户输入调节在输出图像中的所述候选三维模型的姿态或位置中的一或多个。

4.根据权利要求1所述的方法，其中，所述多个候选三维模型表示具有与所述第一输入图像中的所述对象的所确定的所述姿态相同的姿态的所述一或多个对象。

5.根据权利要求1所述的方法，还包括：

获得表示多个对象的多个三维模型；以及

选择所述多个三维模型的子集作为所述多个候选三维模型。

6.根据权利要求5所述的方法，其进一步包括：

确定所述第一输入图像中的所述对象的类别；以及

确定与所述多个三维模型相关联的一或多个类别；

其中所述多个三维模型的所述子集是基于具有所述第一输入图像中的所述对象的所述类别的所述多个候选三维模型而从所述多个三维模型中选择的。

7.根据权利要求1所述的方法，其进一步包括：

获得用于所述多个候选三维模型的多个图像，其中产生所述多个图像以包含在与所述所确定的姿态相同的姿态的所述一或多个对象，针对所述多个候选三维模型而获得的所述多个描述符是从所述多个图像产生的。

8.根据权利要求7所述的方法，其中针对所述多个候选三维模型产生的所述多个图像包含多个深度图。

9.根据权利要求1所述的方法，其进一步包括：

比较针对所述多个候选三维模型获得的所述多个描述符与针对所述第一输入图像中的所述对象获得的所述描述符；以及

确定来自所述多个描述符中的具有与针对所述第一输入图像中的所述对象获得的所述描述符的最接近的匹配的描述符，其中所述候选三维模型是基于来自所述多个描述符的具有与针对所述第一输入图像中的所述对象获得的所述描述符的所述最接近的匹配的所述描述符而被确定的。

10.根据权利要求9所述的方法，其中比较所述多个描述符与针对所述第一输入图像中的所述对象获得的所述描述符包含：

使用针对所述第一输入图像中的所述对象获得的所述描述符作为输入，执行最近邻域搜索。

11.根据权利要求1所述的方法，其中所述多个候选三维模型包含表示所述一或多个对象的多个三维网格。

12.根据权利要求1所述的方法，其中确定所述第一输入图像中的所述对象的所述姿态包含：

确定所述第一输入图像中的所述对象的三维限界框的多个二维投影；以及

使用所述三维限界框的所述多个二维投影估计所述对象的所述姿态。