[发明专利]使用多相机和深度相机阵列的基于图像的图像渲染方法和系统

说明书

一种用于捕捉图像和深度以进行基于图像渲染的方法和系统。通过使用图像相机和深度相机组合，利用多相机结构进行捕捉。渲染利用了从图像和深度数据导出的场景几何。

技术领域

本发明涉及图像技术领域，尤其涉及一种使用多相机和深度相机阵列的基于图像的图像渲染方法和系统。

背景技术

可以使用多种技术创建图像和视频。对于基于图像的渲染，其中基于其他图像创建图像，排除可采样的图像的数量之外，在确定信息的某些上下文片段时会存在问题。为了从人类视觉角度上提高二维(2D)或三维(3D)图像或视频的质量或准确度，需要通过理解上下文诸如图像中对象或场景几何的深度来渲染个体图像。然而，除非提供其他信息，否则这几乎是不可能完成的。

在使用几何模型的非基于图像的计算机生成渲染(例如光栅化，光线追踪等)中，其中不是仅从图像来单纯地进行图像渲染或重建，用户能够从渲染相机的视角知道场景深度。例如，如果用户创建或渲染单个对象，则当该对象被放置在场景中时该对象的深度是已知的并且因此是预先确定的，最终计算出场景深度。

在基于图像的渲染过程中，场景中预先存在的对象可能具有未知深度。用户可以任意决定预先存在的对象上的点的初始深度或代理几何，并参考相对于任意选择的深度的所有其他相对深度。然而，这可能是不准确的，因为深度是由用户任意选择的。另外，可以使用计算机视觉技术诸如运动结构来确定深度，但是这些技术是过程极其繁复的，需要大量资源，是不准确的，并且除非它们是预计算的否则不适用于实时。

许多这些深度技术都是以任意方式或以编程方式来最大可能地(具有任何容许损失)确定场景中点的深度的方法。然而，就像图像相机失焦时，当没有从各种输入(在这种情况下从其他图像)正确重建图像时，该重建的图像可能会出现失焦或不清晰。或者，渲染图像可能具有伪像或其他图像错误。

发明内容

根据本发明的一方面，提供一种渲染新图像的方法，包括：使用图像相机获取图像组，使用深度相机获取深度图像组，根据所述深度图像组生成场景几何呈现，通过使用所述场景几何呈现渲染所述图像组，生成符合新型相机的视角的重建图像。

附图说明

图1a示出了多相机阵列的示例。

图1b示出了图1a的多相机阵列的1D横截面图。

图2示出了具有新型相机的图像相机阵列。

图3示出了确定光线的示例。

图4a示出了利用计算机生成场景的已知深度来渲染图像的示例性相机阵列，该计算机生成场景放置有对象并且该对象的深度已知。

图4b示出了利用对象的未知深度渲染图像的示例性相机阵列，如图4a一样，其中渲染深度不同。

图4c示出了由于添加来自深度相机的深度信息而生成场景的深度。

图5示出了多相机阵列中的深度相机。

图6a描绘了渲染图像的深度-图像多相机阵列的示例性实施方式的系统。

图6b描绘了深度-图像多相机阵列渲染图像的系统的另一示例实施方式。

图7a示出了用于从一个或多个图像相机的图像以及一个或多个深度相机的捕捉深度产生用于渲染的数据的示例性流程。

图7b描述了取图7a中的所有图像和深度值来渲染最终图像的过程。图7c示出了从任意新型相机视角计算图像中的像素的过程流程。

图8示出了在光场相机或多相机阵列定位为使得所有相机不能同时看到对象的情况下校准的示例。

具体实施方式

基于图像的渲染使用现有的采样图像组来生成符合新型相机视角的新图像。换句话说，基于图像的渲染是由图像相机捕捉的其他图像导出的图像的渲染。