[发明专利]一种基于单目vio的移动端AR方法

摘要

本发明提供了一种基于单目vio的移动端AR方法，步骤包括利用相机和IMU分别进行图像采集和惯性数据采集；提取相机获取的每一帧图像的特征点并设置为关键帧；预积分计算出两帧图像对应的IMU位置和旋转信息；获取关键帧中跟踪的特征点并根据该特征点计算出每个关键帧的位姿；根据IMU得到的位移和旋转信息与相机测得两帧之间的位移和旋转信息相等算出相机与IMU之间的外参；初始化IMU的速度、加速度以及尺度因子；利用紧耦合非线性优化得到相机姿态，再叠加虚拟物体实现AR效果。该移动端AR方法采用IMU正好弥补了VSLAM的缺点，在短时间内不受环境特征点的影响；在时间长时利用VSLAM与IMU对齐，防止偏移。

主权项

一种基于单目vio的移动端AR方法，其特征在于，包括如下步骤：步骤1，利用相机和IMU分别进行图像采集和惯性数据采集，且IMU的采集频率大于相机的采集频率；步骤2，提取相机获取的每一帧图像的特征点，并用光流法对各个特征点进行跟踪，并将成功跟踪的帧设置为关键帧；步骤3，对IMU得到的多组IMU数据进行预积分，计算出两帧图像对应的IMU位置和速度分别为：Pk+1=Pk+vkΔt+∫∫kk+1(Rtαt-g)dt2]]>vk+1=vk+∫kk+1(Rtαt-g)dt]]>式中，Pk和Pk+1分别表示第k和k+1帧时IMU的位置，vk和vk+1表示第k和k+1帧时IMU的速度，Δt为k与k+1帧之间的时间间隔，Rt为t时刻旋转矩阵，at为t时刻的加速度，g为重力加速度；步骤4，利用SFM算法获取关键帧中跟踪的特征点，并根据该特征点计算出每个关键帧的位姿其中表示关键帧的位置，为表示关键帧的四元数，代表关键帧的旋转信息；步骤5，根据IMU测得的两帧之间的IMU位置相减计算获得位移，再根据IMU得到的位移和旋转信息与相机测得两帧之间的位移和旋转信息相等算出相机与IMU之间的外参外参的计算公式为：qbkv=qckv⊗qbc]]>spbkv=spckv+qckvpbc]]>式中，s为尺度因子，定示相机坐标系下IMU的四元数，即相机与IMU之间的旋转关系，为相机与IMU之间的位置关系，为IMU测量的位置，为IMU测量的四元数，表示旋转信息；步骤6，初始化IMU的速度、加速度以及尺度因子，初始化公式为：zbk+1bk=αbk+1bkβbk+1bk=Hbk+1bkχI+nbk+1bk≈qvbk▿tk012qvbk▿tk2qvbk(pbk+1v-pbkv)-qvbkqvbkqvbk▿tk0vbkvvbk+1vgvs]]>式中，表示IMU预积分结果，预积分结果包括和两项，分别表示IMU在第k与k+1帧之间的位置约束和速度约束，为测量矩阵，表示IMU在第k帧下的四元数，为的逆，则表示IMU在第k、k+1帧下的位置，为两帧图像之间的时间，χI为估算参数，分别为IMU在第k和k+1帧时对应的速度，gv为加速度，s为尺度因子，为高斯噪声；步骤7，利用紧耦合非线性优化IMU测量数据以及相机测量数据得到相机姿态，优化公式为：minχ{Σk∈β||γβ(zbk+1bk,χ)||2+Σ(l,j)∈ζ||γζ(zlcj,χ)||2}]]>式中，与分别为IMU测量与相机测量的残差，优化上式得到相机的姿态，从而根据相机姿态叠加虚拟物体实现AR效果。