[发明专利]基于双目立体视觉与光流融合的车辆运动信息检测方法

说明书

技术领域

本发明涉及一种运动视觉处理技术，特别涉及一种基于双目立体视觉与光流融合的车辆运动信息检测方法。

背景技术

在智能汽车领域，为了实现对车辆周围环境的感知，需要知道车辆自身的运动信息，包括三维平移运动速度和三维旋转角速度。

常用的方法是利用专门陀螺惯导装置获取这些信息，这种方法给车辆增加了额外的装置，其提供的数据也存在精度和稳定性不高的问题。另一种方法是利用单目视觉图像的视觉里程计方法，这种方法通过计算特定运动物体的特征点的光流来获取车辆自身运动信息。这种方法通常只适合于较简单的场景，在变化的复杂背景中，若存在大量的运动物体，其他运动物体的特征点对于车辆自身运动分析会造成大的干扰，降低估计的准确度。另外，光流计算的采用稠密光流计算，计算量相当巨大，难以满足实时性要求。

发明内容

本发明是针对传统的视觉里程计定位因变化的复杂背景导致准确度低的问题，提出了一种基于双目立体视觉与光流融合的车辆运动信息检测方法,分析处理双目立体摄像机拍摄的左右图像序列，经过特征匹配、三维重建、特征提取、光流计算等步骤，获得车体三维空间速度与三维空间角速度的运动信息，实现车体的运动信息估计。

本发明的技术方案为：一种基于双目立体视觉与光流融合的车辆运动信息检测方法，具体包括如下步骤：

1）双目摄像机设置摄像机的高度与相对地面的倾斜角度，拍摄左右视频图像序列；

2）图像采集卡接收并将双目摄像机拍摄到的视频模拟信号转换为视频数字信号，图像采集卡存储图像的数字信号；

3）左右图像预处理模块对图像采集卡传出的图像进行滤波处理，消除双目摄像机自身的信号干扰；

4）左右图像预处理模块输出图像进入左右图像立体匹配模块中，左右图像立体匹配模块计算像素灰度相关系数，设定合适阈值、并与灰度相关系数比较大小实现立体匹配；

5）三维空间重建模块对左右图像立体匹配模块获取的视差还原三维深度信息；

6）地面点标定模块，用双目摄像机的高度和角度运算处理，建立地面点的数学模型，标记出地面感兴趣的点；

7）光流场确定模块采用Lucas-Kanade算法对步骤6）所标记的地面感兴趣点进行加权运算获得地面感兴趣点光流大小；

8）运动参数确定模块，根据步骤5）和步骤7）所得三维深度信息和光流大小，运用线性最小二乘法实现车辆的运动信息估计。

所述步骤4）立体匹配：设定5*5区域作为相关窗，选取步骤3）获得的左边缘图作为参考图，步骤3）获得的右边缘图作为待配准图，遍历左边缘图中的边缘点，计算匹配点簇的像素灰度相关系数，设定阀值，将相关系数矩阵中的最大值与设定阈值比较，如果相关系数大于预定义的阀值，则在右边缘图中标记相应点为匹配点，并计算左边缘图中像素的视差；

左右边缘特征点像素灰度相关系数Coef： 

式中，为左边缘图匹配窗口的灰度值，为右边缘图匹配窗口的灰度值，和分别为左右两匹配窗口像素点的平均灰度值，N为5*5匹配窗口的中像素点个数;

左边缘图各像素点的视差d：

式中，为左边缘图像素点在图像坐标系下的横坐标值，为右边缘图像素点在图像坐标系下的横坐标值。

所述步骤5）中三维深度信息：由步骤4）中计算的视差值，根据透射投影模型重建三维坐标：

 

式中,b为双目摄像机基线长度,f为摄像机焦距，x_l为左边缘图像素点在图像坐标系下的横坐标值，y_l为左边缘图像素点在图像坐标系下的纵坐标值，Z为场景的三维空间深度信息，即空间任意点与基线之间的距离，X,Y为场景在三维空间坐标系下的坐标值。

所述步骤6）建立地面点的数学模型：首先计算不同深度下的地面点的高度值Y_g，然后与相同深度像素点的三维重建的Y轴坐标值比较，若Y轴坐标值小于等于Y_g，则该像素点标记为地面感兴趣点，反之，该像素点舍弃，