[发明专利]一种基于因子图的逆深度估计方法

摘要

本发明公开了一种基于因子图的逆深度估计方法，属于图像处理和单目相机深度估计技术领域。所述方法首先利用三角形方法测量空间中对应点的深度，然后利用因子图模型对单目相机进行建模，利用李群‑李代数之间的转换关系将位姿估计转换为无约束的优化问题求解；利用逆深度滤波方法来对深度进行滤波，将每次求得的逆深度进行融合，进而获得融合后的深度；利用上述得到的深度和余弦定理，可以测量空间中物体的长度。从而验证该方法的合理性。本发明将因子图模型引用到逆深度的测量中，既有利于该估计方法的扩展，也提高了估计的精度。本发明提出的逆深度滤波的方法，有效的解决了远离相机中心的像素出现拖尾现象，提高了鲁棒性。

主权项

1.一种基于因子图的逆深度估计方法，其特征在于：包括如下步骤，步骤一、利用三角形方法测量空间中任意一空间点的深度；步骤二、利用因子图模型对相机进行建模，利用李群‑李代数之间的转换关系将位姿估计转换为无约束的优化问题求解；建立因子模型，x_i表示第i个相机位姿的节点，l_j为路标节点，i＝1,2,…,n；j＝1,2,…,m；f_i为因子函数，表示第i个相机的位姿相对于参考相机的位姿x₀的关系，x₀表示参考相机的位姿，假设因子函数f_i满足如下形式的高斯分布：其中，h(x_i)为第i个相机的位姿的重投影函数，μ_i为第i个相机的位姿对应的像素坐标的均值，h(x_i)‑μ_i为重投影函数误差，σ_i²为第i个相机的位姿对应的像素坐标的方差；N()表示高斯分布函数，f_i(x_i)表示第i个相机的位姿x_i相对于参考相机位姿x₀的因子函数；因此，所有因子函数变量的联合概率分布写成因子乘积的形式：最大后验概率X_max推断的形式为：对上式(6)取对数后，将最大后验概率X_max推断问题转化为最小化非线性最小二乘和的问题：假设三维空间中某点的坐标为U_a＝[X_a,Y_a,Z_a]^T，其投影的像素坐标为μ_a＝[u_a,v_a]^T；通过k个空间点来计算相机的位姿R、t，[R|t]的李代数记为ξ，像素位置和空间点位置的关系如下：其中，s_a为相机第a个空间点的深度，[R|t]表示相机的外参数矩阵，T＝K[R|t]表示相机参数矩阵，ξ^表示相机外参数矩阵李代数的反对称矩阵；a＝1,2,……,k；将式(8)写成矩阵的形式为：s_aμ_a＝Kexp(ξ^)U_a                        (9)因此，重投影函数为：x_ia为第i个相机的第a个特征点，将重投影函数进行线性化，得到：h(x_ia)＝h(x_ia⁰+Δx_ia)＝h(x_ia⁰)+JΔx_ia                   (11)其中，J为雅克比矩阵，Δx_ia＝x_ia‑x_ia⁰，x_ia⁰为第i个相机第a个特征点的初始位姿；因此，相机位姿的误差函数表示为如下的形式：非线性最小化问题转化为：对上式(13)关于Δx_ia求导得到正规方程为：(J^TJ)Δx_ia＝J^Tb                        (14)采用列文伯格‑马夸尔特方法对正规方程进行修正，修正后的方程如下：(J^TJ+λI)Δx_ia＝J^Tb                       (15)其中，I为n阶单位矩阵，λ为实数，当λ＝0时，即为高斯‑牛顿法；当λ很大时，即沿着误差函数负梯度的方向进行更新；下面求解雅克比矩阵J，假设空间点变换到相机坐标系下的坐标为U′＝[X′,Y′,Z′]^T，即：U′＝exp(ξ^)U_a＝[X′,Y′,Z′]^T                 (16)因此相机投影模型转化为：利用方程(17)的第三行消去深度信息s_a后，得到：f_x为相机坐标系x方向的焦距，f_y为相机坐标系y方向的焦距，c_x为相机在像素坐标系中偏离光心x方向的像素数，c_y为相机在像素坐标系中偏离光心y方向的像素数；因此，重投影坐标相对于所测量的像素坐标的误差函数为：e_u为重投影在x方向的误差，e_v为重投影在y方向的误差；利用链式法则对位姿进行求导，得到：其中，e＝(e_u，e_v)，δξ表示李代数ξ的变化量；公式(20)中第一项是误差关于投影点的导数，对(19)式进行求导，得到：公式(20)中第二项为变换后的点关于李代数的导数，空间点的变换为T＝exp(ξ^)，T左乘一个扰动为ΔT＝exp(δξ^)，假设扰动项的李代数为δξ＝[δρ,δφ]^T,其推导过程如下：取其前三维即得到U′关于位姿导数，即：其中，I为n阶单位矩阵，δρ表示李代数se(3)的前三维向量的变化量，δφ表示李代数se(3)的后三维向量的变化量；将式(21)和式(23)相乘后，求出误差关于位姿的导数：通过以上方法得到相机优化后的位姿；步骤三、利用逆深度滤波方法来对深度进行滤波，将每次求得的逆深度进行融合，进而获得融合后的深度。