[发明专利]用于车辆摄像机的在线校准的方法和装置

说明书

本发明涉及一种用于确定连接到车辆的摄像机相对于车辆坐标系的取向，即自动的摄像机-车辆校准(以下称为在线校准)的方法和装置。

目前，摄像机相对于车辆的取向的确定通过所谓的离线校准来执行。这涉及在车辆生产周期结束时专门的硬件设置。

该过程既不灵活，同时还是昂贵的。这种死板的校准过程的最大缺点在于假设摄像机取向在最终使用者(驾驶员)使用车辆期间不会变化。但是，机械负载和温度影响导致去校准，也即是说，导致实际值和工厂确定值之间的差异。因此，存在在实际使用期间发生摄像机系统去校准的技术问题(通过机械负载和温度影响对车辆结构的影响)，这导致摄像机相对于车辆不精确或错误的定位，从而导致对例如驾驶员辅助系统(ADAS)的不精确或错误的输入数据。

为此，车辆制造商对通过在最终使用者处全自动的校准来替换或补充离线校准非常感兴趣。

因此，本发明的一个目的是这种全自动校准，以及驾驶时自动校正发生的去校准。

已经存在的用于在线校准的方法基于道路标志的检测或基于检测道路上的特征。而首先提及的方法导致对适合于校准的环境的严格限制；后者提及的方法易于产生错误，这是因为一方面不能总是满足在特定图像区域内平整道路的假设，另一方面稀疏的柏油路纹理是对于特征提取非常不利的环境。

基于道路标志检测的构想例如在Catalá-Prat、J.Rataj和R.Reulke的Self-calibration system for the orientation of a vehicle camera,Proc.of the ISPRS Com.V Symposium:Image Engineering and Vision Metrology,2006,第68–73页，以及在S.Hold、S.Gormer、A.Kummert、M.Meute和S.Muller-Schneiders的A novel approach for the online initial calibration of extrinsic parameters for a car-mounted camera,Intelligent Transportation Systems,2009.ITSC’09.12th Inter-national IEEE Conference on,IEEE,2009,第1–6页，或在M.Wu和X.An的An automatic extrinsic parameter calibration method for camera-on-vehicle on structured road,Vehicular Electronics and Safety,2007.IC-VES.IEEE International Conference on,IEEE,2007,第1–5页中进行描述。

在M.Miksch、B.Yang和K.Zimmermann的Homography-based extrinsic self-calibration for cameras in automotive applications,Workshop on Intelligent Transportation,2010,第17–22页中的描述的系统使用柏油路的自然纹理用于校准，但是，其假设了平整的柏油路，且其在图像中的取向需要是已知的，而且系统需要车辆里程计。

因此，本发明的一个目的是提供一种避免所述现有技术的缺点的在线校准方法和装置。

根据一个实施方案，提供了一种用于确定连接到车辆的摄像机相对于车辆坐标系的取向的方法，其包括：

基于摄像机的视频流的光流测量摄像机的坐标系中的增量车辆运动；

以由直线运动分量和转动运动构成的运动表示增量车辆运动，其中，以方向向量表示所述直线运动分量，以转动轴和转动角表示所述转动运动；

基于所确定的转动角将所测量的增量车辆运动分类为直线运动或转动运动；

测量至少一个已经分类为直线运动的增量运动；

测量至少一个已经分类为转动运动的增量运动；和

使用至少一个所测量的直线运动的方向向量来估算车辆的纵轴；

使用至少一个所测量的转动运动的转动向量来估算车辆平面的法线，使得摄像机相对于车辆坐标系的取向是由摄像机的坐标系中已经分别确定的车辆纵轴和车辆平面的法线推出的。