[发明专利]基于立体提取的三维场景修复

权利要求书

1.一种用于创建三维(3D)场景的系统，该系统包括：

眼镜，其包括第一成像器和与第一成像器间隔设置的第二成像器，第一成像器被配置为从第一视点获得场景对象的第一二维(2D)图像，并且第二成像器被配置为从不同于第一视点的第二视点获得所述场景对象的第二二维图像；

与眼镜耦合的处理系统，该处理系统被配置为；

获得所述第一二维图像和所述第二二维图像；

根据所述第一和第二二维图像创建深度图；

根据所述深度图以及所述第一和第二二维图像创建三维场景；

检测初始三维场景中具有不完整图像信息的区域；

重建三维场景中所述检测到的区域；

确定替换信息并修正重建区域；以及

从多个视点渲染具有修改后的重建区域的三维场景。

2.根据权利要求1所述的系统，其中，所述处理系统进一步被配置为：

从一个或多个视点识别渲染的三维场景中的洞；和

优化所述渲染的三维场景以填充所述洞。

3.根据权利要求1所述的系统，其中，所述眼镜包括第一镜腿和第二镜腿，并且其中，所述第一成像器与所述第一镜腿相邻，并且所述第二成像器与所述第二镜腿相邻。

4.根据权利要求1所述的系统，其中，为了确定具有不完整图像信息的所述检测到的区域的替换信息，所述处理系统被配置为：

识别每个检测到的区域的周围的边界；

识别所述边界内的背景信息；

识别所述边界内的前景信息；以及

融合各个区域背景和前景边界信息，使所述背景边界信息的权重比所述前景边界信息的权重高。

5.根据权利要求4所述的系统，其中，为了混合所述背景和前景边界信息，所述处理系统被配置为：

将所述背景边界信息的缺失信息通过各个区域扩散到所述前景边界信息中。

6.根据权利要求1所述的系统，其中，所述深度图包括像素顶点和来自所述第一和第二二维图像的对应图像信息，为创建所述3D场景，所述处理系统被配置为连接所述顶点以形成第一面，为重建所述检测到的区域，处理系统被配置为连接所述边界区域的顶点以形成第二面，所述第二面不同于所述第一面。

7.根据权利要求6所述的系统，其中，所述第一和第二面包括三角形面或四边形面中的至少一个。

8.根据权利要求1所述的系统，其中，所述深度图包括像素顶点和与每个顶点相对应的置信度值，为了创建所述3D场景，所述处理系统被配置为连接所述顶点以形成面，并且为了检测具有不完整信息的3D场景的边界，所述处理系统被配置为识别包括退化面或低置信度面中的至少一个的连续面。

9.根据权利要求8所述的系统，其中，每个所述退化面具有至少一个小于阈值的角度。

10.根据权利要求8所述的系统，其中，每个低置信度面包括在所述第一二维图像和所述第二二维图像之间以不相容值生成的至少一个顶点。

11.一种用于创建三维(3D)场景的方法，该方法包括：

从第一视点获得场景对象的第一二维(2D)图像；

从不同于第一视点的第二视点获得所述场景对象的第二二维图像；

根据所述第一和第二二维图像创建深度图；

根据所述深度图以及所述第一和第二二维图像创建三维场景；

检测初始三维场景中具有不完整图像信息的区域；

重建三维场景中所述检测到的区域；

确定替换信息并修正重建区域；以及

从多个视点渲染具有修改后的重建区域的三维场景。

12.根据权利要求11所述的方法，还包括：

从一个或多个视点识别渲染的三维场景中的洞；和

优化所述渲染的三维场景以填充所述洞。