[发明专利]对双摄像机进行立体校准的方法

说明书

对包含一第一摄像机及一第二摄像机的一双摄像机进行立体校准的的方法。在一些实施例中，一方法包含：使用所述摄像机的初始内在参数及可选地初始外在参数，来获得优化外在参数及优化内在参数；使用所述优化外在参数及所述外在参数，来估计一无穷大偏移量e；使用所述优化外在参数、所述外在参数及所述无穷大偏移量参数e，来估计一缩放因子s，其中一起使用所述优化外在参数及所述外在参数、所述无穷大偏移量e及所述缩放因子s，来提供立体校准，从而改善深度估计。

相关申请

本申请为申请号202080002266.3(PCT/IB2020/051948)、申请日2020年03月06日、发明名称为“用于动态立体校准的方法及系统”的分案申请。本申请要求2019年3月9日提交的美国临时专利申请No.62/816,097的优先权，其内容通过引用整体并入本文。

技术领域

本文公开的实施例基本上涉及例如在立体数字摄像机中的光学仪器校准，尤其是涉及在双孔径数字摄像机(“双摄像机”)中的立体校准，所述双孔径数字摄像机配置成用以被合并在车辆中作为一驾驶员辅助系统的一部分。

背景技术

定义：

“动态立体校准”–在使用立体摄像机(移动或不移动)的情况下，在没有一已知校准表的情况下估计一立体(双)摄像机的“立体参数”。

“立体参数”：为了产生一高精度的深度图而需要进行校准的立体摄像机参数，包括内在参数(对于每个摄像机)及外在参数(对于每个摄像机对)。

“内在参数”：包括焦距、X及Y轴上的光轴以及透镜畸变系数的参数。

“外在参数”：包括三个相对(两个摄像机之间)角度(偏摆、俯仰及滚转)及三个偏移量(Tx、Ty及Tz)的参数。

“视差轴”：视差的轴线(在我们的XYZ坐标系中，如果摄像机水平放置，则为X)。

“非视差轴”：垂直于所述视差轴的轴线(在我们的XYZ坐标系中，如果摄像机水平放置，则为Y)。

高级驾驶员辅助系统(Advanced Driver-Assistance Systems,ADAS)是已知的。包含在车辆中的一高级驾驶员辅助系统结合了传感器及算法，以理解所述车辆的环境，从而使所述车辆的一驾驶员可以得到辅助或收到危险警告。高级驾驶员辅助系统依靠计算机视觉，计算机视觉在获取、处理、分析及理解环境及周围物体方面起着关键作用。通常，高级驾驶员辅助系统使用带有两个或多个摄像机或“摄像机模块”的多摄像机系统。

图1A示出了具有各种布置的多摄像机系统的车辆的俯视图。术语“车辆”可适用于任何车辆，包括但不限于汽车、摩托车、卡车、公共汽车、飞机、自行车等。在(a)中，一双摄像机系统包含沿着X轴彼此靠近布置的两个摄像机102及104。在此，视差轴为X轴，非视差轴为Y轴。两个摄像机可以共享一个公共外壳。在(b)中，两个摄像机彼此之间以比(a)中更大的距离沿着Y轴放置。在(c)中，两个摄像机110及112沿着作为视差轴的X轴来布置。在(d)中有四个摄像机114、116、118及120，在(e)中有三个摄像机122、124及126，并且在(f)中有两个摄像机128及130，如图所布置。摄像机不限于特定类型的摄像机。在一个示例中，摄像机可以是相同的。在一个示例中，摄像机可能在以下一个或多个参数方面有所不同：焦距、传感器大小、像素大小和/或间距和/或f值(f-number,f/#)。在一个示例中，摄像机可以是一彩色摄像机、一黑白摄像机或一红外线(IR)敏感摄像机。在一个示例中，一多摄像机系统可以附加地包含红外投影机、光纤、激光、传感器或其组合(未示出)。

所述环境的准确深度图对于所述计算机视觉的正常运行是不可少的。一深度图是一种图像或图像通道，其包含涉及场景物体的表面到一视点的距离的信息。