[发明专利]单目相机实时三维捕获和即时反馈的方法和系统

权利要求书

1.一种从多个图像帧形成对象的三维表示的方法，所述多个图像帧从多个方向描绘所述对象，所述方法包括：

使用被配置为接收所述多个图像帧的至少一个计算设备，迭代地：

基于处理所述多个图像帧的子集来计算关于所述对象的三维信息，其中计算所述三维信息包括：选择所述多个图像帧的第一图像帧和第二图像帧，以第一较高分辨率处理所述多个图像帧的所述第一图像帧和所述第二图像帧，以第二较低分辨率处理在所述多个图像帧的所述第一图像帧与所述第二图像帧之间的一个或多个图像帧；和

向用户渲染合成图像，所述合成图像包括所述多个图像帧中的至少一个图像帧和所述三维信息的合成。

2.权利要求1所述的方法，其中：

计算所述三维信息包括确定置信度，其中具有所述置信度的所计算出的三维信息表示所述对象的区域；和

渲染所述合成图像包括将所述三维信息具有较高置信度的所述对象的区域与所述三维信息具有较低置信度的所述对象的区域在视觉上进行区分。

3.权利要求1所述的方法，其中，所述至少一个计算设备是智能手机的处理器。

4.权利要求1所述的方法，其中：

所述至少一个计算设备是便携式电子设备的处理器；

所述便携式电子设备包括相机；和

所述方法还包括显示基于所述多个图像帧的第一部分形成的所述合成图像，同时用所述相机捕获所述多个图像帧的第二部分。

5.权利要求1所述的方法，其中：

所述多个图像帧包括用相机捕获的图像帧的流；和

计算所述三维信息包括以预定频率从所述流中选择所述多个图像帧的所述第一图像帧和所述第二图像帧。

6.权利要求1所述的方法，其中：

所述多个图像帧包括用相机捕获的图像帧的流；和

计算所述三维信息包括基于所述相机的运动速率从所述流中选择所述多个图像帧的所述第一图像帧和所述第二图像帧。

7.权利要求1所述的方法，其中：

渲染所述合成图像包括叠加网格，所述网格表示在所述对象的图像上所述对象的特征的三维位置。

8.权利要求1所述的方法，其中：

渲染所述合成图像包括基于三维信息用基于所述多个图像帧中的至少一个图像的表面特征来描绘表面。

9.权利要求8所述的方法，其中：

计算所述三维信息包括确定置信度，其中具有所述置信度的所计算出的三维信息表示所述对象的区域；和

渲染所述合成图像包括呈现具有表示所述三维信息具有较高置信度的所述对象的区域的表面特征的表面，以及呈现没有表示所述三维信息具有较低置信度的所述对象的区域的表面特征的表面。

10.一种编码了处理器可执行指令的非暂时性计算机可读介质，所述处理器可执行指令在由至少一个硬件处理器执行时执行从多个图像帧形成对象的三维表示的方法，所述多个图像帧从多个方向描绘所述对象，所述方法包括，迭代地：

基于处理所述多个图像帧的子集来计算关于所述对象的三维信息，其中计算所述三维信息包括：选择所述多个图像帧的第一图像帧和第二图像帧，以第一较高分辨率处理所述多个图像帧的所述第一图像帧和所述第二图像帧，以第二较低分辨率处理在所述多个图像帧的所述第一图像帧与所述第二图像帧之间的一个或多个图像帧；和

渲染合成图像，所述合成图像包括所述多个图像帧中的至少一个图像帧和所述三维信息的合成。

11.权利要求10所述的非暂时性计算机可读介质，其中：

计算所述三维信息包括确定置信度，其中具有所述置信度的所计算出的三维信息表示所述对象的区域；和

渲染所述合成图像包括将所述三维信息具有较高置信度的所述对象的区域与所述三维信息具有较低置信度的所述对象的区域在视觉上进行区分。