[发明专利]一种适用于动态交通场景的双目视觉里程计定位方法

权利要求书

1.一种适用于动态交通场景的双目视觉里程计定位方法，其特征在于，包括以下步骤：

获取当前道路场景中的图像，对获取的双目图像进行矫正，获得去畸变后的双目图像；

利用双目立体匹配算法得到视差图；

采用实例分割网络检测左目图像中的潜在运动目标，获得潜在运动目标的掩膜；

提取左目图像的特征点，并剔除落在潜在运动目标掩膜区域的特征点，得到静态特征点；

从视差图中获取静态特征点的视差，并结合双目相机的内外参，求取静态特征点在左目相机坐标系下对应的空间坐标；

跟踪静态特征点在新一帧图像中的位置，获得在新一帧图像中匹配的静态特征点，并求取匹配的静态特征点在新一帧左目相机坐标系下的空间坐标；

通过最小化相邻两帧图像静态特征点的重投影误差，得到相机的位姿变化，即车辆的轨迹；

其中，所述通过最小化相邻两帧图像静态特征点的重投影误差，得到相机的位姿变化，包括以下步骤：

双目相机在相邻两帧图像间的位姿变换用表示，其中为旋转矩阵，为位移向量；

对于第k帧左相机坐标系下的空间点集，点集中的点经过旋转和平移后投影到第k+1帧图像上，其表达式为：

（4）

其中，为左相机的内参矩阵，为空间点经过位姿变换后在第k +1帧图像上的像素坐标；

为空间点在第k +1帧图像上的真实的像素坐标，其与之间的误差为：

（5）

对于第k +1帧左相机坐标系下的空间点集，点集中的点经过旋转和平移后投影到第k帧图像上，其表达式为：

（6）

其中，为左相机的内参矩阵，、、、为相机内参数矩阵中的参数，i为点集中点的索引，为空间点经过位姿变换后在第k帧图像上的像素坐标；

为空间点在第k帧图像上的真实的像素坐标，其与之间的误差为：

（7）

构建最小二乘问题，找到最优的位姿，使误差达到最小值，上述的两个误差求和为：

（8）

相机的位置用向量Traj表示，相邻帧之间相机的关系如下式所示：

（9）

其中，下标k表示帧的序号。

2. 根据权利要求1所述的一种适用于动态交通场景的双目视觉里程计定位方法，其特征在于，所述对获取的双目图像进行矫正，具体包括以下步骤：

利用相机标定得到畸变参数，所述畸变参数包括径向畸变参数，以及切向畸变参数，纠正归一化图像平面上的点坐标：（1）

其中，为像素点到图片中投影中心的像素距离、、分别代表校正后的像素坐标；

利用相机标定得到的内参，将纠正后的归一化图像投影到图像平面，得到矫正后的图像：

（2）。

3.根据权利要求1所述的一种适用于动态交通场景的双目视觉里程计定位方法，其特征在于，所述双目立体匹配算法为半全局块状立体匹配算法，将处于同一时刻的双目图像输入所述半全局块状立体匹配算法中，即可得到视差图。

4.根据权利要求1所述的一种适用于动态交通场景的双目视觉里程计定位方法，其特征在于，所述检测左目图像中的潜在运动目标中，采用实例分割网络进行检测。

5.根据权利要求4所述的一种适用于动态交通场景的双目视觉里程计定位方法，其特征在于，所述检测左目图像中的潜在运动目标，获得其掩膜中，采用YOLACT实例分割网络检测左目图像中的潜在运动目标，包含以下步骤：

针对交通场景中经常出现的运动目标，在数据集上进行标注，并训练得到YOLACT网络的权重参数；

将左目图像输入YOLACT网络，得到各个潜在运动目标的类别以及掩膜。