[发明专利]基于运动信息的双目视觉立体匹配方法

说明书

本发明公开了一种基于运动信息的双目视觉立体匹配方法，通过上一帧计算得到的视差图以及运动信息确定当前帧图像需要进行SGM算法的图像区域，然后通过SGM算法进行立体匹配。将左右摄像头的运动信息耦合到SGM算法中，大大降低了计算量，使得可以在嵌入式系统上实时计算。

技术领域

本发明涉及一种双目视觉立体匹配算法，具体地涉及一种基于运动信息的双目视觉立体匹配方法。

背景技术

目前主流的双目视觉立体匹配算法主要是基于左右摄像头的图像数据进行完全独立计算。庞大的计算量使得立体算法很难在嵌入式系统上进行实时计算，即使是目前最主流的SGM(semi-global matching)算法依然无法在嵌入式系统上进行实时计算。

双目视觉是模拟人类视觉原理，使用计算机被动感知距离的方法。从两个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。如图1所示为双目视觉的原理图，其中O_l、O_r为左右摄像头中心，空间任一质点P，当在O_l、O_r处观察时，分别投影在像平面x^l,x^r上，左右摄像头产生的视差d＝x^l-x^r,而其中p是成像像素尺寸，f是摄像头的焦距，b是两个摄像头中心距离。

双目立体匹配算法就是通过左右图像，逐像素算出相应的视差，从而形成视差图。其算法核心原理就是找出左图像中某个像素a在右图像中的位置，从而计算出视差d，而如何去寻找在右图像中对应的位置是整个过程的核心。传统的算法，包括最主流的SGM算法，都是在右图像上按照像素逐个遍历找到与像素a最相似的像素，但是这会产生庞大的计算量，即使SGM采用动态规划算法以及通过按照8线法进行动态更新大大提升了速度，但是依旧无法在嵌入式设备上进行实时的计算。

发明内容

为了解决上述存在的技术问题，本发明提供了一种基于运动信息的双目视觉立体匹配方法，将左右摄像头的运动信息耦合到SGM算法中，大大降低了计算量，使得可以在嵌入式系统上实时计算。

本发明的技术方案是：

一种基于运动信息的双目视觉立体匹配方法，通过上一帧计算得到的视差图以及运动信息确定当前帧图像需要进行SGM算法的图像区域，然后通过SGM算法进行立体匹配。

优选的，当前帧图像的视差图通过以下步骤得到：

通过第N帧与N-1帧摄像头数据，计算出其图像基本重合的区域P；

通过第N-1帧到第N帧的加速度传感器的数据，计算出摄像头的位移；

计算N-1帧区域P中所有物体的位置Z，并减去相机移动的位移S，获得物体当前与摄像头的位置关系，并通过公式d*p＝fb/z，其中p是成像像素尺寸，f是摄像头的焦距，b是两个摄像头中心距离，计算出d作为N帧P区域的视差图。

优选的，每n幅图像利用SGM算法计算出一次视差图。

优选的，对计算得到的视差图进行滤波调优。

与现有技术相比，本发明的优点是：

1、通过上一帧计算出的视差图以及运动传感器信息确定当前帧图像需要进行SGM算法的图像区域，大大降低了视差图更新的运算量，提升了计算速度。

2、通过周期性使用SGM算法进行全幅图像的视差图计算，消除了误差的累计。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为双目视觉的原理图；

图2为第N帧与N-1帧图像；