[发明专利]场景尺度估计及增强现实控制方法、装置和电子设备有效
申请号: | 201810113142.7 | 申请日: | 2018-02-05 |
公开(公告)号: | CN110120098B | 公开(公告)日: | 2023-10-13 |
发明(设计)人: | 鲍虎军;章国锋;王楠;陈丹鹏 | 申请(专利权)人: | 浙江商汤科技开发有限公司 |
主分类号: | G06T19/00 | 分类号: | G06T19/00 |
代理公司: | 北京同立钧成知识产权代理有限公司 11205 | 代理人: | 杨泽;刘芳 |
地址: | 311215 浙江省杭州市萧*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 场景 尺度 估计 增强 现实 控制 方法 装置 电子设备 | ||
1.一种场景尺度估计方法,其特征在于,包括:
确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差;
将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点;
根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整,其中,所述平面约束为各第二特征点与所述目标水平面的距离之和;
根据各所述第一特征点调整后的三维坐标,确定所述目标场景的尺度。
2.根据权利要求1所述的方法,其特征在于,所述根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整,包括:
对各所述第一特征点的初始三维坐标进行调整,直到各所述第一特征点的重投影误差之和与所述平面约束相加最小。
3.一种场景尺度估计方法,其特征在于,包括:
确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差;
根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整,其中,所述重力约束为目标水平面的法线向量与重力向量之间的差值;
根据各所述第一特征点调整后的三维坐标,确定所述目标场景的尺度。
4.一种增强现实AR控制方法,其特征在于,包括:
AR引擎获取实时定位与地图构建SLAM系统的输出结果,所述输出结果包括采用权利要求1-16任一所述的方法获得的场景的尺度;
所述AR引擎根据所述场景的尺度在所述场景中绘制虚拟物体。
5.一种场景尺度估计装置,其特征在于,包括:
第一确定模块,用于确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差;
第二确定模块,用于将距离目标水平面预设范围内的至少一第一特征点确定为至少一第二特征点;
调整模块,用于根据各所述第一特征点的重投影误差和平面约束分别对各所述第一特征点的初始三维坐标进行调整,其中,所述平面约束为各第二特征点与所述目标水平面的距离之和;
第三确定模块,用于根据各所述第一特征点调整后的三维坐标,确定所述目标场景的尺度。
6.一种场景尺度估计装置,其特征在于,包括:
第一确定模块,用于确定双目相机在同一时刻分别在目标场景拍摄的第一图像和第二图像中相匹配的至少一第一特征点的初始三维坐标和重投影误差;
调整模块,用于根据各所述第一特征点的重投影误差和重力约束分别对各所述第一特征点的初始三维坐标进行调整,其中,所述重力约束为目标水平面的法线向量与重力向量之间的差值;
第二确定模块,用于根据各所述第一特征点调整后的三维坐标,确定所述目标场景的尺度。
7.一种增强现实AR引擎,其特征在于,包括:
获取模块,用于获取实时定位与地图构建SLAM系统的输出结果,所述输出结果包括采用权利要求1-3任一所述的方法获得的场景尺度;
绘制模块,用于根据所述场景尺度在所述场景中绘制虚拟物体。
8.一种电子设备,其特征在于,包括:
双目相机,用于对目标场景进行拍摄,获得所述目标场景的第一图像和第二图像;
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序,以实现如权利要求1-16中任一项所述的场景尺度估计方法。
9.一种增强现实AR控制系统,其特征在于,包括:通信连接的电子设备、AR引擎和实时定位与地图构建SLAM系统,所述电子设备设有双目相机,所述AR引擎为如权利要求7所述的AR引擎,所述SLAM系统包括如权利要求5或6所述的场景尺度估计装置。
10.一种计算机存储介质,其特征在于,所述存储介质中存储计算机程序,所述计算机程序在执行时实现如权利要求1-3中任一项所述的场景尺度估计方法,和/或实现如权利要求4所述的增强现实AR控制方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江商汤科技开发有限公司,未经浙江商汤科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810113142.7/1.html,转载请声明来源钻瓜专利网。