[发明专利]一种基于动态目标检测的视觉SLAM方法及装置

权利要求书

1.一种基于动态目标检测的视觉SLAM方法，其特征在于，包括：

响应于获取的各个图像帧，基于深度学习目标检测网络对所述各个图像帧进行区域分割，其中，所述各个图像帧中包括潜在动态区域和静态区域，所述潜在动态区域中包含运动特征点和第一静止特征点，所述静态区域中包含第二静止特征点；

将上一帧图像的第二静止特征点和当前帧图像的第二静止特征点进行匹配；

响应于获取的匹配关系，基于RANSAC算法计算得到第一单应矩阵；

基于运动特征点滤除方法分别提取所述上一帧图像第一静止特征点和所述当前帧图像的第一静止特征点，其中，所述运动特征点滤除方法为特征点的重投影误差结合最大类间方差法形成的方法，所述基于运动特征点滤除方法分别提取所述上一帧图像第一静止特征点和所述当前帧图像的第一静止特征点的具体步骤如下：

假设和是前后帧相匹配的特征点，前后帧相匹配的特征点与单应矩阵满足的关系式为；

假设前后帧共有N对相匹配的特征点，则共有N个重投影误差，可以推算其中一对相匹配的特征点的重投影误差的公式为；

将N个重投影误差分为级，第级特征点的个数为，其中，故有；

设N个重投影误差的平均值为，，第一静止特征点和第二静止特征点的集合为，动态特征点集合为，设的比率为，，动态特征点集的比率为，，第一静止特征点和第二静止特征点的点集的均值，，动态特征点的点集的均值，；

由此，可推算类间方差的公式为：；

基于公式，对简化得到式：；

在0~k之间遍历，能够使得方差最大的残差距离记为，若某一对匹配点的重投影误差，则为动态特征点，，则为第一静止特征点或第二静止特征点；

基于所述上一帧图像的第一静止特征点和所述当前帧图像的第一静止特征点的匹配关系，使对所述第一单应矩阵进行优化并得到第二单应矩阵；

依据所述第二单应矩阵，对所述上一帧图像进行运动补偿，使得到运动补偿帧图像。

2.根据权利要求1所述的一种基于动态目标检测的视觉SLAM方法，其特征在于，在依据所述第二单应矩阵，对所述上一帧图像进行运动补偿，使得到运动补偿帧图之后，所述方法还包括：

将所述运动补偿帧图像与所述当前帧图像进行作差，使得到帧差图；

基于连通区域算法，对经由去噪以及形态学处理的所述帧差图进行分析，使确定动态区域，其中，所述动态区域仅包含运动特征点；

对当前帧图像进行剔除所述动态区域，并基于剔除动态区域的当前帧图像进行视觉SLAM的跟踪、建图和回环检测。

3.根据权利要求2所述的一种基于动态目标检测的视觉SLAM方法，其特征在于，所述基于连通区域算法，对经由去噪以及形态学处理的所述帧差图进行分析，使确定动态区域包括：

响应于获取的所述帧差图，基于滤波和二值化处理对所述帧差图进行去噪，使得到二值图；

响应于获取的所述二值图，基于所述深度学习目标检测网络对所述二值图中的静态区域的各个像素值置为零；

对处理后的二值图进行形态学处理，并基于所述连通区域算法分析得到动态区域。

4.根据权利要求1所述的一种基于动态目标检测的视觉SLAM方法，其特征在于，所述依据所述第二单应矩阵，对所述上一帧图像进行运动补偿的表达式为：；

式中，为上一帧的像素点，为补偿后的像素点，为上一帧与当前帧的单应矩阵。

5.根据权利要求1所述的一种基于动态目标检测的视觉SLAM方法，其特征在于，所述潜在动态区域为包含潜在的动态物体的区域，其中，所述潜在的动态物体为行人或车辆。

6.根据权利要求1所述的一种基于动态目标检测的视觉SLAM方法，其特征在于，所述深度学习目标检测网络为Yolov3网络。