[发明专利]一种适于动态环境中单目视觉相机的位姿估计方法

权利要求书

1.一种适于动态环境中单目视觉相机的位姿估计方法，其特征在于，所述方法包括：

获取图像，对每一帧图像进行ORB特征点检测；

对连续两帧图像进行特征点局部匹配；

判断特征点是否满足约束条件，若不满足约束条件，则将该特征点标记为动态点；所述约束条件包括极线约束和FVB约束；

获取图像，对每一帧图像进行实例级分割得到物体轮廓，其中，对每个目标对象，在FasterR-CNN测试网络结构，增加一个指示对象在窗口中像素位置的二进制掩模图像的输出，通过卷积和最大池化层把二进制掩模图像压缩至原始大小的1/32进行分类预测；

当得到的物体轮廓内动态点的个数超过阈值，则将物体轮廓内的所有特征点标记为动态点；

利用RANSAC算法对未标记的动态点的特征点进行特征匹配，计算相机位姿变换的基础矩阵，得到相机旋转矩阵和平移向量，实现相机位姿估计；

通过RANSAC算法循环计算得到误差最小的基础矩阵；

由F＝K^-Tt×RK^-1将得到误差最小的基础矩阵进行分解，求得对应的相机旋转矩阵R和平移向量t，其中，K为相机内参，F为基础矩阵；

任选一未标记的动态点的特征点对得到的相机旋转矩阵R和平移向量t进行验证，

当选取的未标记的动态点的特征点，经过相机旋转矩阵R和平移向量t变换得到的像点坐标深度为负，则舍弃该相机旋转矩阵R和平移向量t；

对每个目标对象，在FasterR-CNN测试网络结构，增加一个指示对象在窗口中像素位置的二进制掩模图像的输出，通过卷积和最大池化层把二进制掩模图像压缩至原始大小的1/32进行分类预测，具体包括：

在Faster R-CNN测试网络结构上添加完全卷积网络，作为一个分支网络；

在第一个阶段，通过Faster R-CNN测试网络结构，扫描图像并生成提议；在第二阶段，通过完全卷积网络分类提议并生成边界框和掩码；

第一阶段中，对于每个图像，Faster R-CNN测试网络结构都有两个输出，第一个分类标签，第二个候选窗口；对每个目标对象，在Faster R-CNN测试网络结构，增加一个指示对象在窗口中像素位置的二进制掩模图像的输出，通过卷积和最大池化层把二进制掩模图像压缩至原始大小的1/32进行分类预测；在这个细粒度级别进行分类预测，通过卷积和最大池化层把二进制掩模图像压缩至原始大小的1/32进行分类预测后，通过上采样和去卷积层进行图像还原；从而分割目标像素。

2.根据权利要求1所述的方法，其特征在于，将每一帧图像分成M×N个等大的块进行ORB特征点检测。

3.根据权利要求1所述的方法，其特征在于，连续两帧图像进行特征点局部匹配过程中，设定匹配阈值，当某特征点的描述子与最佳匹配特征点的描述子的汉明距离大于所述匹配阈值，则认为该特征未能找到匹配点。

4.根据权利要求1所述的方法，其特征在于，所述FVB约束的概率为：

其中，d_max和d_min为相机成像点的最大深度与最小深度z_max和最小深度z_min对应的特征点沿极线位移距离，FV为特征点的运动矢量，β为概率下降系数。

5.根据权利要求1所述的方法，其特征在于，按照如下方法计算相机位姿变换的基础矩阵：

设两帧图片之间一对匹配的特征点为p₁＝[u₁，v₁，1]^T，p₂＝[u₂，v₂，1]^T，设基础矩阵为F，

则有

把基础矩阵F的各个元素作为一个向量处理，有：

f＝[f₁，f₂，f₃，f₄，f₅，f₆，f₇，f₈，f₉]，

化为：

[u₁u₂，u₁υ₂，u₁，υ₁u₂，υ₁υ₂，υ₁，u₂，υ₂，1]·f＝0