[发明专利]优化用于姿态估计的标记管理的方法和设备

说明书

本公开涉及用于检测在环境中分布的标记以估计运行增强现实应用的设备的姿态的方法、设备或系统。检测标记和播放AR应用是对于设备的处理资源的两个竞争任务。当要检测的标记数量需要设备的大部分处理资源时，可能会影响应用处理。本公开提出了不同的实施例以根据用于两个任务的所需要的处理资源来优化要检测的标记列表以检测。

技术领域

本公开涉及，尤其是当要检测的标记的数量需要设备的处理资源的大部分时，检测在环境中分布的标记以估计包括照相机的设备的姿态的领域。

背景技术

增强现实(AR)应用实时将数字信息集成到用户的环境中。使用具体的AR设备(平板电脑、手机、AR眼镜)实时显示复合视图。典型的应用包括在真实环境中插入虚拟三维(3D)对象。为此，AR应用必须相对于先验已知的参考系不断地估计AR设备在空间中的姿态。AR设备配备有照相机并在由照相机获取的图像中搜索标记。在AR中用于定位虚拟对象的常用方法是使用在环境中具有已知姿态的二维(2D)标记，以相对于此标记估计设备的姿态并且关于该标记定位虚拟对象。2D标记可以是专门为跟踪而设计的合成图像(例如像ARUCO标记的基准标记)，或者之前由应用学习的任何适当图像(足够有纹理而无规律图案)。3D对象也可以被用作标记。由这种标记所解决的应用的示例是将增强现实特征叠加到具体的3D对象。这些AR效果在由用户在包含感兴趣对象的场景之前持有的AR设备当前捕捉的视频中执行。例如，3D对象可被扭曲或对象纹理可被修改。这些操作需要这些对象的表征。

对于广泛的AR应用，在整个环境中均匀分布的多个标记是必要的。标记可以彼此独立，也就是说，每个标记定义其自己的参考系，其中可以播放动画而不考虑其他的参考系，例如在博物馆AR应用中。标记也可以属于一个通用范围的参考系并且在此参考系内从位置到位置标记方位，例如将在整个空间、建筑物中甚至外面发生的娱乐AR应用中。

播放AR应用是对设备的处理消耗。检测标记也是处理消耗。在AR设备的照相机获取的图像中，需要搜索的标记越多，需要的处理资源越多。因此，在AR应用中，两个处理在竞争设备的处理资源。取决于AR设备的处理资源，具有要检测的许多标记可能使设备渲染AR场景的性能崩溃。某些设备能够支持非常有限数量的标记的检测，而其他设备能够检测更大的数量同时保持所需要的处理资源以播放AR应用。

避免这种缺陷的一种可能是审慎地在环境中放置标记以限制其数量。这种解决方案并不令人满意，因为首先，设备的定位和姿态估计不够精确和可靠，并且其次，其对环境的变化不稳健。事实上，如果移动对象遮挡了它们(即在照相机和标记之间的对象)或根据照明条件，标记的可见性可改变。另外一种可能性是建立无标记环境。这种方式需要甚至更多的处理资源以执行计算机视觉，以便估计设备的位置和姿态。SLAM技术(同时定位与地图创建)针对于构建或更新未知环境的地图，而同时保持跟踪设备在其内的位置。SLAM并不针对识别在环境内的具体对象(标记)。它不适用于AR应用，在AR应用中动画以可能最终被移动的标记为中心(例如，在每个标记定义其自己的参考系而不考虑其他的参考系的博物馆AR应用中)。

缺乏用于优化要检测的标记的集合，以便最小化所需要的处理资源，同时确保可靠的姿态估计的方案。

发明内容

本公开的目的是克服缺少用于优化要检测的标记列表的方法，以便最小化所需要的处理资源，同时确保用于运行增强现实应用的系统的可靠的姿态估计。

本公开涉及用于设备的检测标记的方法。所述方法包括：

-根据所述设备的位置以及根据表示所述设备的标记检测性能的第一数据，在标记集合中选择标记列表；所述第一数据与所述标记集合的标记相关联；所述标记被选择为在所述位置的附近，并且所述列表根据所述第一数据被排序；

-在由所述设备检测所述标记列表的标记时，生成表示标记检测性能的第二数据；以及

-根据所述第二数据更新所述第一数据。根据本原理的一个方面，选择所述标记列表包括：