[发明专利]基于双目立体视觉与光流融合的车辆运动信息检测方法

摘要

本发明涉及一种基于双目立体视觉与光流融合的车辆运动信息检测方法,分析处理双目立体摄像机拍摄的左右图像序列，经过特征匹配、三维重建、特征提取、光流计算等步骤，获得车体三维空间速度与三维空间角速度的运动信息，实现车体的运动信息估计。是一种新的车辆自身运动参数的检测方法，具有装置简单，适用实际车辆使用环境，精度高，实时性强的特点。能有效地降低因为环境等因素造成的读数不准和测量有误等问题，并且视觉传感器结构简单，信息量大，提供了大量的其他信息。系统选取地面点为感兴趣的特征点，有效减少运动的物体的干扰，提高了估计的准确度。同时，融合立体视觉与光流的方法，充分利用深度信息，增强算法的稳定性与鲁棒性。

主权项

一种基于双目立体视觉与光流融合的车辆运动信息检测方法，其特征在于，具体包括如下步骤：1）双目摄像机设置摄像机的高度与相对地面的倾斜角度，拍摄左右视频图像序列；2）图像采集卡接收并将双目摄像机拍摄到的视频模拟信号转换为视频数字信号，图像采集卡存储图像的数字信号；3）左右图像预处理模块对图像采集卡传出的图像进行滤波处理，消除双目摄像机自身的信号干扰；4）左右图像预处理模块输出图像进入左右图像立体匹配模块中，左右图像立体匹配模块计算像素灰度相关系数，设定合适阈值、并与灰度相关系数比较大小实现立体匹配；5）三维空间重建模块对左右图像立体匹配模块获取的视差还原三维深度信息；6）地面点标定模块，用双目摄像机的高度和角度运算处理，建立地面点的数学模型，标记出地面感兴趣的点；7）光流场确定模块采用Lucas‑Kanade算法对步骤6）所标记的地面感兴趣点进行加权运算获得地面感兴趣点光流大小；8）运动参数确定模块，根据步骤5）和步骤7）所得三维深度信息和光流大小，运用线性最小二乘法实现车辆的运动信息估计。