[发明专利]动态对象跟踪

说明书

动态对象跟踪。一种使用移动摄像头来确定并显示环境中的对象的移动的方法，该方法包括以下步骤：识别位于后期图像中的环境中的后期环境特征、位于早期图像中的环境中的早期环境特征、以及位于早期图像中的对象上的早期对象特征。方法还包括以下步骤：使用早期对象特征和所确定的摄像头移动，估计后期图像中的对象特征。方法还包括以下步骤：在后期图像中定位匹配的对象特征，所述匹配的对象特征为后期图像中处于与所估计的对象特征相同位置处的实际对象特征。方法还包括以下步骤：如果匹配的对象特征的数量不超过阈值，则确定对象在早期图像与后期图像之间已经移动。

技术领域

本公开总体涉及图像数据流中的对象检测和姿态估计的领域，更具体地涉及包括图像数据流中的对象检测和姿态估计的增强现实系统。

背景技术

增强现实(AR)已经随着计算机技术的进步而变得越来越常见。AR的一般定义是捕捉真实世界场景并使用软件添加人工(虚拟)元素。这可以增强真实世界的用户感知或向用户提供娱乐。

对象跟踪在许多AR实施方案中是重要的。这意味着软件维持与真实世界对象在摄像头视场内的位置有关的当前信息。由此，真实世界对象可以“之后是”所显示的人工对象，诸如计算机图形增强或信息泡(如由用户感知的)。换言之，如果真实世界对象移动或用户的视野相对于真实世界对象移动，则人工对象将相对于真实世界对象保持在相同位置中，和/或将基于真实世界对象的移动和/或新位置确定人工对象的内容。位置跟踪在许多AR实施方案中也是重要的。这意味着虚拟对象将停留在场景中的一个位置中，而不管用户的移动如何。

用于实施AR的一个平台是智能电话或平板电脑。摄像头、显示器以及处理器在同一装置上的存在允许软件将人工元素容易地添加到由摄像头捕捉的生动场景。而且，软件利用运动传感器和定位器(例如，加速度计和GPS)在这些装置上的存在来更佳地实施AR。

另一平台是头戴式显示器(HMD)，HMD可以实施提供更丰富AR体验的AR。这些系统通常为棱镜被放置在眼睛前面的眼镜。用户直接借助眼镜来观看场景。棱镜允许人工图像叠加在如由用户感知的场景上。同时HMD使用摄像头从场景采集数据。

发明内容

对象跟踪在摄像头和被跟踪对象这两者移动时变得更困难。软件可能难以区分对象运动与摄像头运动，并且实现高度准确对象跟踪可能不是在每一个场景中都是可以的。

部分为了克服这些难题，本公开的实施方式包括一种使用移动摄像头来确定并显示环境中的对象的移动的方法。方法包括以下步骤：从由摄像头捕捉的图像流获取环境的早期图像和后期图像。方法还包括以下步骤：识别位于后期图像中的环境中的后期环境特征、位于早期图像中的环境中的早期环境特征、以及位于早期图像中的对象上的早期对象特征。方法还包括以下步骤：使用早期环境特征与后期环境特征之间的位置差异，确定从早期图像到后期图像的摄像头移动。方法还包括以下步骤：使用早期对象特征和所确定的摄像头移动，估计后期图像中的对象特征。方法还包括以下步骤：在后期图像中定位匹配的对象特征，该匹配的对象特征为后期图像中处于与所估计的对象特征相同位置处的实际对象特征。方法还包括以下步骤：如果匹配的对象特征的数量不超过阈值，则确定对象在早期图像与后期图像之间已经移动。方法还包括以下步骤：如果匹配的对象特征的数量超过阈值，则确定对象在早期图像与后期图像之间没有移动。方法还包括以下步骤：如果对象已经移动，则显示通知。