[发明专利]SLAM系统的初始化、AR控制方法、装置和系统有效
申请号: | 201810114367.4 | 申请日: | 2018-02-05 |
公开(公告)号: | CN110119189B | 公开(公告)日: | 2022-06-03 |
发明(设计)人: | 鲍虎军;章国锋;王楠;陈丹鹏 | 申请(专利权)人: | 浙江商汤科技开发有限公司 |
主分类号: | G06F3/01 | 分类号: | G06F3/01;G06T17/05;G06T19/00 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 杨泽;刘芳 |
地址: | 311215 浙江省杭州市萧*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | slam 系统 初始化 ar 控制 方法 装置 | ||
1.一种同时定位与地图构建SLAM系统的初始化方法,其特征在于,包括:
根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻所述电子设备的备摄像头拍摄得到的备图像,确定所述主摄像头的对面高度,所述对面高度为所述主摄像头沿重力方向与参考面之间的距离;
所述参考面包括:地平面或水平物面;
将所述主图像投影到所述参考面中,确定所述主图像中至少一个特征点的三维坐标信息和/或深度信息。
2.根据权利要求1所述的方法,其特征在于,还包括:根据所述电子设备的重力传感器获得所述重力方向。
3.根据权利要求1所述的方法,其特征在于,所述主摄像头和所述备摄像头设于所述电子设备的同一平面。
4.根据权利要求1所述的方法,其特征在于,还包括:
获取所述主摄像头朝向除所述第一方向之外的至少一个其他方向拍摄的视频;
确定所述视频中至少一帧图像中的相对于所述主图像的共同特征点;
根据所述共同特征点,将所述参考面按照所述至少一帧图像中的每帧图像对应的主摄像头的位置和朝向信息分别投影到所述每帧图像中,获取所述每帧图像中的特征点的初始三维坐标信息。
5.根据权利要求4所述的方法,其特征在于,还包括:
对所述特征点的初始三维坐标信息进行非线性优化,获取每个特征点优化后的三维坐标信息以及所述每帧图像对应的主摄像头的朝向和位置;
根据所述每帧图像对应的主摄像头的位置和朝向信息确定相应特征点的深度信息。
6.根据权利要求4所述的方法,其特征在于,所述获取所述主摄像头朝向除所述第一方向之外的至少一个其他方向拍摄的视频,包括:
获取所述主摄像头在移动过程中拍摄得到的视频。
7.根据权利要求6所述的方法,其特征在于,所述获取所述主摄像头在移动过程中拍摄得到的视频之前,还包括:
呈现用于提示移动所述电子设备和/或所述主摄像头的信息。
8.根据权利要求5-7中任一项所述的方法,其特征在于,还包括:
根据所述每帧图像对应的主摄像头的位置和朝向信息,对电子设备的惯性测量单元IMU的参数进行初始化。
9.根据权利要求8所述的方法,其特征在于,所述根据所述每帧图像对应的主摄像头的位置和朝向信息,对电子设备的惯性测量单元IMU的参数进行初始化,包括:
根据每帧图像对应的主摄像头的位置和朝向信息,以及所述主摄像头和所述IMU的相对位置信息,确定每帧图像对应的所述IMU的位置和朝向信息。
10.根据权利要求9所述的方法,其特征在于,所述根据所述每帧图像对应的主摄像头的位置和朝向信息,对电子设备的惯性测量单元IMU的参数进行初始化,还包括:
根据所述视频中至少二帧图像各自对应的所述IMU的朝向信息,以及所述至少二帧图像之间的时间间隔内的所述IMU的角速度,确定所述IMU的角速度偏差信息。
11.根据权利要求10所述的方法,其特征在于,所述根据所述每帧图像对应的主摄像头的位置和朝向信息,对电子设备的惯性测量单元IMU的参数进行初始化,还包括:
根据所述视频中至少二帧图像各自对应的所述IMU的朝向信息和位置信息,以及所述至少二帧图像之间的时间间隔内的所述IMU的角速度和加速度,确定所述时间间隔内的帧图像对应的电子设备的速度信息和/或所述IMU的加速度偏差信息。
12.一种增强现实AR控制方法,其特征在于,包括:
AR引擎获取采用如权利要求1-11中任一项所述的方法进行初始化后的SLAM系统输出的电子设备的定位和/或地图构建信息;
所述AR引擎根据所述SLAM系统输出的信息,在所述电子设备所在场景或场景的拍摄视频中绘制虚拟物体。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江商汤科技开发有限公司,未经浙江商汤科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810114367.4/1.html,转载请声明来源钻瓜专利网。