[发明专利]静态遮挡物在审
申请号: | 201910453896.1 | 申请日: | 2019-05-29 |
公开(公告)号: | CN110554770A | 公开(公告)日: | 2019-12-10 |
发明(设计)人: | A·P·林德伯格;A·S·萨伊尼;S·奥尔 | 申请(专利权)人: | 苹果公司 |
主分类号: | G06F3/01 | 分类号: | G06F3/01;G06T19/00 |
代理公司: | 11038 中国国际贸易促进委员会专利商标事务所 | 代理人: | 吴信刚 |
地址: | 美国加*** | 国省代码: | 美国;US |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 物理环境 遮挡 图像传感器 虚拟对象 图像 存储器 计算装置 实施检测 描绘 遮挡物 处理器 | ||
1.一种方法,包括:
在具有处理器、存储器和图像传感器的计算装置上:
使用所述图像传感器获得物理环境的图像;
检测所述图像中真实对象的描绘;
基于所述图像中的所述对象的所述描绘和所述对象的三维(3D)模型来确定3D空间中的所述对象的3D位置;
基于所述3D空间中的所述真实对象的所述3D位置和所述虚拟对象的3D位置来确定遮挡;以及
基于所述遮挡在显示器上显示计算机生成现实(CGR)体验,所述CGR体验包括所述真实对象和所述虚拟对象,其中所述真实对象或所述虚拟对象的至少一部分被遮挡。
2.根据权利要求1所述的方法,其中所述虚拟对象基于所述遮挡而遮挡所述真实对象,其中在所述3D空间中所述虚拟对象的3D位置比所述真实对象的3D位置更靠近图像传感器位置。
3.根据权利要求1所述的方法,其中所述真实对象基于所述遮挡而遮挡所述虚拟对象,其中在所述3D空间中所述真实对象的3D位置比所述虚拟对象的3D位置更靠近图像传感器位置。
4.根据权利要求1所述的方法,其中确定3D空间中所述对象的所述3D位置还基于视觉惯性测距法。
5.根据权利要求1所述的方法,其中确定遮挡还包括校正遮挡边界区域。
6.根据权利要求5所述的方法,其中所述遮挡边界区域至少由所述3D空间中的所述对象的所述3D位置与来自所述图像传感器的所述物理环境的所述图像之间的不匹配引起。
7.根据权利要求6所述的方法,还包括通过基于三掩模和CGR体验颜色一致性来固定边界区域不确定性以校正所述遮挡边界区域。
8.根据权利要求5所述的方法,还包括基于所述CGR体验的单个帧来逐帧校正所述遮挡边界区域。
9.根据权利要求5所述的方法,还包括基于所述CGR体验的一个或多个先前帧来校正所述遮挡边界区域。
10.根据权利要求1所述的方法,还包括基于一个或多个先前帧,调整所述3D空间中的所述真实对象的3D位置或所述虚拟对象的3D位置的位置。
11.根据权利要求1所述的方法,其中所述虚拟对象是围绕所述真实对象的虚拟场景。
12.根据权利要求1所述的方法,其中所述被遮挡的空间关系包括所述虚拟对象被所述3D模型部分遮挡、所述虚拟对象被所述3D模型完全遮挡、所述3D模型被所述虚拟对象部分遮挡、或者所述3D模型被所述虚拟对象完全遮挡。
13.根据权利要求1所述的方法,还包括使用稀疏特征比较技术在所述帧的初始帧中检测所述对象的存在和所述对象的初始姿势。
14.一种系统,包括:
非暂态计算机可读存储介质;以及
一个或多个处理器,所述一个或多个处理器耦接至所述非暂态计算机可读存储介质,其中所述非暂态计算机可读存储介质包括程序指令,所述程序指令在所述一个或多个处理器上执行时,使所述系统执行操作,所述操作包括:
使用所述图像传感器获得物理环境的图像;
检测所述图像中真实对象的描绘;
基于所述图像中的所述对象的所述描绘和所述对象的三维(3D)模型,确定3D空间中的所述对象的3D位置;
基于所述3D空间中的所述真实对象的所述3D位置和所述虚拟对象的3D位置来确定遮挡;以及
基于所述遮挡在显示器上显示CGR体验,所述CGR体验包括所述真实对象和所述虚拟对象,其中所述真实对象或所述虚拟对象的至少一部分被遮挡。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苹果公司,未经苹果公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910453896.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:触笔、头戴式显示系统和相关方法
- 下一篇:虚拟现实和增强现实中的眼睛跟踪应用