[发明专利]基于双目立体视觉与光流融合的车辆运动信息检测方法

权利要求书

1.一种基于双目立体视觉与光流融合的车辆运动信息检测方法，其特征在于，具体包括如下步骤：

1）双目摄像机设置摄像机的高度与相对地面的倾斜角度，拍摄左右视频图像序列；

2）图像采集卡接收并将双目摄像机拍摄到的视频模拟信号转换为视频数字信号，图像采集卡存储图像的数字信号；

3）左右图像预处理模块对图像采集卡传出的图像进行滤波处理，消除双目摄像机自身的信号干扰；

4）左右图像预处理模块输出图像进入左右图像立体匹配模块中，左右图像立体匹配模块计算像素灰度相关系数，设定合适阈值、并与灰度相关系数比较大小实现立体匹配；

5）三维空间重建模块对左右图像立体匹配模块获取的视差还原三维深度信息；

6）地面点标定模块，用双目摄像机的高度和角度运算处理，建立地面点的数学模型，标记出地面感兴趣的点；

7）光流场确定模块采用Lucas-Kanade算法对步骤6）所标记的地面感兴趣点进行加权运算获得地面感兴趣点光流大小；

8）运动参数确定模块，根据步骤5）和步骤7）所得三维深度信息和光流大小，运用线性最小二乘法实现车辆的运动信息估计。

2.根据权利要求1所述基于双目立体视觉与光流融合的车辆运动信息检测方法，其特征在于，所述步骤4）立体匹配：设定5*5区域作为相关窗，选取步骤3）获得的左边缘图作为参考图，步骤3）获得的右边缘图作为待配准图，遍历左边缘图中的边缘点，计算匹配点簇的像素灰度相关系数，设定阀值，将相关系数矩阵中的最大值与设定阈值比较，如果相关系数大于预定义的阀值，则在右边缘图中标记相应点为匹配点，并计算左边缘图中像素的视差；

左右边缘特征点像素灰度相关系数Coef： 

式中，为左边缘图匹配窗口的灰度值，为右边缘图匹配窗口的灰度值，和分别为左右两匹配窗口像素点的平均灰度值，N为5*5匹配窗口的中像素点个数;

左边缘图各像素点的视差d：

式中，为左边缘图像素点在图像坐标系下的横坐标值，为右边缘图像素点在图像坐标系下的横坐标值。

3.根据权利要求2所述基于双目立体视觉与光流融合的车辆运动信息检测方法，其特征在于，所述步骤5）中三维深度信息：由步骤4）中计算的视差值，根据透射投影模型重建三维坐标：

 

式中,b为双目摄像机基线长度,f为摄像机焦距，x_l为左边缘图像素点在图像坐标系下的横坐标值，y_l为左边缘图像素点在图像坐标系下的纵坐标值，Z为场景的三维空间深度信息，即空间任意点与基线之间的距离，X,Y为场景在三维空间坐标系下的坐标值。

4.根据权利要求3所述基于双目立体视觉与光流融合的车辆运动信息检测方法，其特征在于，所述步骤6）建立地面点的数学模型：首先计算不同深度下的地面点的高度值Y_g，然后与相同深度像素点的三维重建的Y轴坐标值比较，若Y轴坐标值小于等于Y_g，则该像素点标记为地面感兴趣点，反之，该像素点舍弃，

式中，Z为三维重建坐标深度，H为双目摄像机距离地面高度，θ为摄像机相对地面的倾斜角度，Y_g为深度为Z处的地面点空间高度。

5.根据权利要求4所述基于双目立体视觉与光流融合的车辆运动信息检测方法，其特征在于，所述步骤8）车辆的运动信息估计：采用线性最小二乘法计算车辆的三维平移速度和三维旋转速度，

   

式中，Z为步骤5）所得地面感兴趣点的深度信息，为标记的地面点投影在左图的图像坐标系中的横坐标值与纵坐标值，f为摄像机焦距，u,v为步骤7）计算出的地面点光流的水平和垂直方向的速度分量。