[发明专利]映射摘要和本地化

说明书

一种电子设备[100]在估计所述电子设备的当前姿态[275]时基于表示具有高效用[245]以便识别场景的对象的数据生成所述场景的摘要映射[265]并且相对于所述摘要映射来本地化所估计的当前姿态。所述电子设备随时间的推移基于按照一致配置一起出现的对象组[215]识别场景，并且识别在场景中出现的对象的效用权重，其中，所述效用权重指示该对应对象在所述环境中随时间推移能持久地被所述电子设备识别的预测可能性并且至少部分地基于由一个或多个移动设备进行的验证。所述电子设备基于表示具有高于阈值的效用权重的对象的数据生成每个场景的摘要映射。

相关申请的交叉引用

本申请涉及并要求以下共同未决申请的优先权，其全体通过引用并入在本文中：2016年11月1日提交的标题为“Methods and Systems for VR/AR Functionality in aPortable Device”的美国临时专利申请序号62/416,078(代理人档案号1500-G16026-PR)。

技术领域

本公开一般地涉及图像捕获和处理，并且更具体地涉及使用捕获的影像的机器视觉。

背景技术

用于增强现实(AR)和虚拟现实(VR)应用的机器视觉和显示技术诸如同步本地化和映射(SLAM)、运动结构(SFM)、视觉惯性测距(VIO)和视觉惯性映射常常依靠通过分析由设备所捕获的本地环境的影像来识别设备的本地环境内的对象。为了支持这些技术，设备在同时地构造环境的映射(3D视觉表示)或者增强环境的一个或多个现有映射的同时导航环境。设备还可以将基于由其它设备所捕获的影像的数据并入到3D视觉表示中。然而，随着捕获的影像数据的量随时间的推移累积，3D视觉表示可能变得对资源受约束移动设备的计算预算来说太大。

发明内容

根据本发明的第一方面，提供了一种方法，包括：(a)在电子设备处生成表示在所述电子设备的环境中的一个或多个对象的第一数据集，其中，所述第一数据集基于从一个或多个视觉传感器捕获的图像和来自一个或多个非视觉传感器的非视觉数据；(b)识别用于识别所述电子设备的环境的所述一个或多个对象中的每一个对象的效用权重，所述效用权重指示在所述环境中该对应对象随时间推移能持久地被所述电子设备识别的预测可能性并且所述效用权重至少部分地基于由一个或多个移动设备进行的验证；(c)基于所述第一数据集的子集生成所述电子设备的环境的三维表示，所述第一数据集的子集表示所述环境中的所述一个或多个对象的子集，其中，所述一个或多个对象的子集包括具有高于阈值的效用权重的对象；以及(d)在所述电子设备处基于所述环境的三维表示本地化(localize)所述电子设备的估计的当前姿态。

根据本发明的第二方面，提供了一种方法，包括：(a)在电子设备处生成表示在所述电子设备的环境中的一个或多个对象的第一数据，其中，所述第一数据基于从一个或多个视觉传感器捕获的图像和来自一个或多个非视觉传感器的非视觉数据；(b)识别一个或多个对象组的第一集，其中，每个组包括按照配置出现的对象；(c)基于所述配置出现的一致性高于第一阈值识别包括一个或多个对象组的所述第一集的第一场景；(d)基于所述第一数据生成所述第一场景的参考映射；以及(e)在所述电子设备处基于所述第一场景的参考映射本地化所述电子设备的估计的当前姿态。