[发明专利]使用平面镜校准立体成像系统的方法和计算机程序产品

说明书

一种通过使用至少一个相机和平面镜校准立体成像系统的方法，每个相机由相应的相机设备承载，该方法包括以下步骤：‑通过所述至少一个相机获取至少两个图像(S200)，每个图像从不同的相机位置拍摄并包含用于拍摄所述图像的相机的镜像视图的影像、以及一物体的镜像视图的影像，从而获取物体的多个视图，‑在每个图像中找到图像拍摄相机的镜像视图的影像的中心(S202)，‑获取所述至少一个相机的像素焦距(S204)，‑从图像拍摄相机的镜像视图的中心确定平面镜的法向量的方向(S206)‑对于每个图像，通过使用(i)相机设备上的参考点，所述参考点在相机坐标系中具有已知坐标，以及(ii)相机设备的镜像视图的对应点的坐标，确定相机和平面镜之间的距离(S208)，‑通过使用镜平面的法线的方向和距离以及相机的像素焦距来确定所述至少一个相机的坐标系中的镜面方程(S210)，‑定义镜平面的向上向量(S212)，‑在镜平面中选择参考点(S214)，‑定义参考坐标系，其中所述参考点作为其原点，并且所述向上向量作为其竖直的y轴(S216)，‑对于每个图像，分别确定从图像拍摄相机的坐标系到镜坐标系的坐标变换(S218)，‑对于每个图像，确定从各自的镜坐标系到所述参考坐标系的变换(S219)，和‑对于任何一对图像，确定从第一图像拍摄位置的相机坐标系到第二图像拍摄位置的相机坐标系的坐标变换(S220)。

技术领域

本发明总体上涉及经校准的立体图像的生成。尤其是，本发明涉及通过使用平面镜来生成经校准的立体图像的方法和执行上述方法的计算机程序产品。

背景技术

相机与一场景中一空间点之间的距离，可以根据示出了该同一点的两个或更多个相关图像中该点的位置来确定或较好地估计出，其中，该场景是静止的或者这些相关图像是同时拍摄的。如果该场景中布置有一个或多个平面镜，且上述图像中的一些是对着平面镜拍摄的，则仍然可以进行距离计算。当图像记录装置的空间位置与反射表面(例如镜子)的空间位置和特定参数之间的关系已知时，可以根据基本几何关系计算出一点的三维(three dimensional，3D)位置。利用反射表面从多个图像计算未知距离的挑战称为折反射立体视觉。在J·格卢克曼(J.Gluckman)和S·K·纳亚(S.K.Nayar)所著的：使用平面镜的折反射立体(Catadioptric Stereo Using Planar Mirrors)(国际计算机视觉杂志(International Journal on Computer Vision)，44(1)，65-79页，2001年8月)中，详细描述了折反射立体图像生成的基本理论。在该文中介绍了包括一个相机和一个平面镜的图像拍摄设置，其中相机和平面镜的相对位置是已知的，因此不需要校准。该方法得出一物体在真实相机视图中的体3D(volumetric 3D)表示。

在胡(Hu)等人的文章“使用镜子的多视图3D重建(‘Multiple-view 3-DReconstruction Using a Mirror’)”(ftp：//ftp.cs.rochester.edu/pub/papers/robotics/05.tr863.Multiple-view_3-d_reconstruction_using_a_mirror.pdf)中，一静止的相机和一平面镜用于多视图三维物体重建。该平面镜与相机之间的距离是通过单个物点、以及物体的镜像视图的一对点来获得的。在拍摄的图像中搜索该相机的镜像，然后使用该虚拟相机的核点来确定虚拟相机与真实相机之间的空间关系。然而，如果真实物体在拍摄的图像中不可见，则该方法不能用于3D物体重建。

库默(Kumar)等人的文章“利用镜子的非重叠相机的简易校准”(‘Simplecalibration of non-overlapping cameras with a mirror)(http：//frahm.web.unc.edu/files/2014/01/Simple-Calibration-of-Non-overlapping-Cameras-with-a-Mirror.pdf)，介绍了相机组的校准方法。尽管该方法也使用这些相机的镜像，但它不使用真实物体的图像，因此需要至少五个图像以便恢复真实相机的位置和朝向。