[发明专利]一种相机重定位方法和系统

说明书

本发明提供一种相机重定位方法及系统，其中方法包括：S1:获取飞行器在多个时刻的惯性参数序列和场景图像；S2:提取所述飞行器在t‑1时刻至t时刻的所述惯性参数序列的高层次位姿特征asubgt;I/subgt;；S3:提取所述飞行器在t时刻的所述场景图像的高层次特征asubgt;V/subgt;；S4:将所述高层次位姿特征asubgt;I/subgt;和所述高层次特征asubgt;V/subgt;输入至坐标预测网络中进行预测，所述坐标预测网络输出场景位姿数据；S5:根据所述场景位姿数据建立相机姿态假设池，所述相机姿态假设池中包含多个相机姿态假设，每一个相机姿态假设对应一个可信度分数，所述可信度分数最高的相机姿态假设作为重定位数据，能快速、精确的对相机进行重定位。

技术领域

本发明涉及相机重定位技术领域，具体涉及一种相机重定位方法和系统。

背景技术

相机重定位是在三维环境中利用二维图像快速、准确地估计六自由度相机位姿，该任务往往作为同步定位与地图重建，增强现实，自主导航等任务的子模块。在传统相机重定位中，三维场景通过SfM(Structure from Motion)、视觉里程计或者地图重建算法获得，查询帧图像需与整个三维场景模型进行匹配，建立2D-3D候选匹配关系，这些候选2D-3D匹配列表在RANSAC(Random Sample Consensus)循环中利用PnP(Perspective-n-point)算法进行几何验证剔除异常点，对通过几何验证的2D-3D匹配再利用PnP估计相机位姿。但在大场景中，计算量则会指数级增长，导致无法满足实时应用，特别对于敏捷型飞行器或无人机需要快速实现定位，提升机动性。

现有高精度相机重定位方法主要基于DSAC++，其设计了可微RANSAC策略(Differentiable SAmple Consensus)，实现端到端训练相机位姿估计网络。但如果网络初始化存在偏差则导致参数搜索空间范围扩大，不仅需要较大网络模型回归位姿，导致其前向推理速度较慢，而且往往只获得局部最优解，无法获得高精度的相机姿态。

发明内容

本发明的目的在于克服现有技术中的缺点，提供一种相机重定位方法及系统，在DSAC++基础之上，将惯性序列参数和图像数据结合，使得精度高，再结合深度神经网络使得重定位速度快，精度进一步提高。

本发明的目的是通过以下技术方案来实现的：一种相机重定位方法，包括以下步骤：

S1：获取飞行器在多个时刻的惯性参数序列和场景图像；

S2：提取所述飞行器在t-1时刻至t时刻的所述惯性参数序列的高层次位姿特征a_I；

S3：提取所述飞行器在t时刻的所述场景图像的高层次特征a_V；

S4：将所述高层次位姿特征a_I和所述高层次特征a_V输入至坐标预测网络中进行预测，所述坐标预测网络输出场景位姿数据；

S5：根据所述场景位姿数据建立相机姿态假设池，所述相机姿态假设池中包含多个相机姿态假设，每一个相机姿态假设对应一个可信度分数，所述可信度分数最高的相机姿态假设作为重定位数据。

本发明的有益效果是，由于每一帧场景图像都有时间对齐的惯性参数序列进行辅助，因此即使存在多个相同结构和特征的区域，也能给正确的估计姿态，使得重定位的精度高，由于提取了高层次位姿特征a_I，从而快速缩小坐标预测网络参数搜索范围，只需轻量型网络就能精确估计姿态，加快定位速度，每一个相机姿态假设对应一个可信度分数，所述可信度分数最高的相机姿态假设作为重定位数据，使得本方法能快速、精确的对相机进行重定位。

进一步，所述S1具体包括：

S101：使用IMU模块采集飞行器在多个时刻的惯性参数序列，所述惯性参数序列包括飞行器的加速度和陀螺姿态信息，所述场景图像为RGB图像。