[发明专利]全向立体视觉的摄像机配置系统及摄像机配置方法

说明书

本发明提供了一种全向立体视觉的摄像机配置系统及摄像机配置方法，摄像机配置系统主要包括：至少四个主摄像镜头，分别排列于可构成一矩形的四基准线；至少四个副摄像镜头，各主摄像镜头与各副摄像镜头，可沿着四个基准线于同一平面间隔排列设置为矩形；本发明的关键在于，各副摄像镜头或各主摄像镜头的光轴，被配置为可分为两部分旋转，使排列于同一基准线的摄像镜头的光轴彼此平行，以及使排列于同一基准线的摄像镜头的光轴皆与基准线垂直，以完成摄像机校正；因此，可让对应于各基准线的至少二深度图于执行影像融合演算后，消除遮挡区域，进而能通过影像拼接获取无遮挡的全向深度图。

技术领域

本发明涉及立体视觉(Stereo Vision)技术，尤指一种可将多个摄像镜头间隔排列设置为矩形，并使待校正的至少三个摄像镜头的镜心配置于同一基准线，以可因此获得无遮挡深度图，进而能于完成影像拼接(image stitching)后获取全向深度图(omnidirectional depth map)的「全向立体视觉的摄像机配置系统及摄像机配置方法」。

背景技术

在双目视觉中，需要对摄像机进行标定和校正，而摄像机校正(camerarectification)的目的是达成理想的双目摄像机系统，使得至少两个摄像机的光轴完全平行(即镜心彼此之间仅存在X分量)，并与基线垂直(左右摄像机的镜心的连线即为基线)，才能续行深度计算与三维重建。

一般而言，校正前左右摄像机的镜心(光心)并不是平行的，而校正后理想双目系统的左右摄像机的光轴彼此平行、光轴和影像平面垂直，且成像点在左右影像上的高度一致，依此，后续进行立体匹配(stereo matching)时，只需在同一列的搜索区间(searchrange)，搜索左右影像的匹配点即可，能使摄像机校正效率大大提高。

目前虽有人提出可利用3D检测摄像机(Stereoscopic Camera)取得全向深度信息，例如中国台湾发明专利第 TW201832547号「产生全景深度影像的影像装置、相关方法及相关影像装置」所揭(下称台湾案)，台湾案主要使四颗超广角鱼眼镜头(190度)两两背对与上下排列，并将提取的广角影像投影至经纬(equirectangular)坐标系，而位于同侧的左右两颗鱼眼镜头可用于计算180 x 180度的立体深度影像(stereo depth)，最后再将两侧的深度影像进行影像拼接，即可获取360 x 180度的全向深度影像，然而，此种将广角影像投影至经纬坐标的等距柱状投影法 (Equirectangular Projection)，在接近180度的影像解析度相当差(因使用鱼眼镜头会产生镜头扭曲现象)，同时，也会产生因采用立体视觉技术所产生的遮挡(Occlusion) 问题，而遮挡问题将直接影响到深度估计的准确度。

虽另有发明人提出可将N颗摄像机排列成正N边形，并通过两两摄像机生成深度影像，最后再完成全景拼接以获取全向深度影像，即如美国发明专利第US 10244226 B2 「Camera rig and stereoscopic image capture」所揭(下称美国案)，然而，此种作法虽可产生解析度较高的深度影像，但美国案摆放各摄像机的位置，将无法处理前述的遮挡问题，使得其产生的深度影像产生缺陷。