[发明专利]一种基于位姿解耦估计的无监督单目视觉里程计方法在审
申请号: | 202011151965.2 | 申请日: | 2020-10-26 |
公开(公告)号: | CN112308918A | 公开(公告)日: | 2021-02-02 |
发明(设计)人: | 周文晖;王威盛;孙煨;张桦;戴国骏 | 申请(专利权)人: | 杭州电子科技大学 |
主分类号: | G06T7/73 | 分类号: | G06T7/73;G06T7/77;G06N3/04;G06N3/08;G06F7/523;G06F17/16 |
代理公司: | 杭州君度专利代理事务所(特殊普通合伙) 33240 | 代理人: | 朱月芬 |
地址: | 310018 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 位姿解耦 估计 监督 目视 里程计 方法 | ||
1.一种基于位姿解耦估计的无监督单目视觉里程计方法,其特征在于包括如下步骤:
步骤S1:准备KITTI数据集并进行预处理;
步骤S2:基于位姿解耦估计公式,设计位姿解耦估计网络;
步骤S3:设计基于位姿解耦估计的无监督单目视觉里程计;
步骤S4:定义基于位姿解耦估计的无监督单目视觉里程计的损失函数;
步骤S5:使用KITTI数据集中的训练集训练基于位姿解耦估计的无监督单目视觉里程计。
2.根据权利要求1所述的一种基于位姿解耦估计的无监督单目视觉里程计方法,其特征在于所述步骤S2具体实现包括:
步骤S2-1:所述的位姿解耦估计公式是将两帧间的相机位姿矩阵分解为解耦平移矩阵和解耦旋转矩阵的级联相乘,从而将相机位姿估计分解为解耦平移矩阵和解耦旋转矩阵的级联估计;具体表述为:
对于相邻两帧图像It和Is,场景点在图像It上的投影像素点为gt,在图像Is上的投影像素点为gs,根据相机内参矩阵K、相机位姿矩阵Pt→s、像素点gt在相机坐标系下的深度值zt和像素点gs在相机坐标系下的深度值zs,像素点gt和像素点gs满足刚性运动的投影公式,具体为:
其中Pt→s为相机从第t帧到第s帧的相机位姿矩阵,包含了一个3×3的旋转矩阵R和一个3×1的平移矩阵T;采用四元数表示旋转矩阵R,即旋转矩阵R由一个四元素(q0,q1,q2,q3)表示,所述四元数表示旋转矩阵为成熟技术;平移矩阵T包含了3个平移量,分别是相机坐标系下x、y、z坐标的平移量Tx、Ty和Tz;根据矩阵乘法,相机位姿矩阵Pt→s可表示为解耦平移矩阵和解耦旋转矩阵的级联相乘,具体为:
其中PT为4×4的解耦平移矩阵,PR为4×4的解耦旋转矩阵,E3×3为3×3的单位矩阵;
将公式(2)代入公式(1)中,有:
根据公式(3),可进一步将像素点gt和像素点gs的投影公式分解为两个投影公式的级联相乘,具体为:
其中公式(4)的第一行为解耦平移矩阵PT的投影公式,公式(4)的第二行为解耦旋转矩阵PR的投影公式;公式(4)称为位姿解耦估计公式,将相机位姿矩阵Pt→s估计分解为解耦平移矩阵PT和解耦旋转矩阵PR的级联估计;
步骤S2-2:所述的位姿解耦估计网络包含了一个平移估计网络T-Net和一个旋转估计网络R-Net;平移估计网络T-Net实现解耦平移矩阵PT中三个平移量Tx、Ty和Tz估计,旋转估计网络R-Net实现解耦旋转矩阵PR中四元素(q0,q1,q2,q3)估计。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州电子科技大学,未经杭州电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011151965.2/1.html,转载请声明来源钻瓜专利网。