[发明专利]用于卷帘快门相机的方位跟踪

说明书

本公开提供了在增强现实(AR)系统中跟踪卷帘快门相机的方位的方法和装置。该方法和装置使用相机信息和来自惯性测量单元(IMU)的惯性传感器读数来估计该相机在参考线处的方位。此后，能够使用该惯性传感器数据来计算扫描线处的相对方位变化。然后基于来自该相机的视觉信息、该相对方位变化和先前图像的优化参考线方位来进一步细化该相机的该估计参考方位。此后，能够使用在较早步骤中获得的该相对方位变化来更新对该扫描线方位的估计。

相关申请的交叉引用

本申请要求2020年9月30日提交的美国临时专利申请号63/085,775和2020年12月28日提交的美国专利申请号17/135,055的优先权，这两个专利申请的全部内容据此以引用方式并入。

技术领域

本公开涉及用于计算机视觉的增强现实。更具体地，本公开涉及提供用于增强现实的卷帘快门相机的改进的方位估计。

发明背景

近年来，计算机视觉(“CV”)技术迅速发展。CV技术的一个重要应用是增强现实(“AR”)，除其它外，它为用户在真实世界环境中使用计算机生成的视觉信息提供交互式体验。用户可佩戴AR眼镜以用于各种AR应用中的增强体验。通常，相机、传感器、显示器和其他部件被集成在这样的可穿戴AR眼镜中。用户佩戴AR眼镜探索增强世界。在用户移动期间，相机可能会沿着一条轨迹运动，这可看作是相机的一系列方位。准确的方位估计是AR系统提供良好用户体验的一个重要方面。

附图说明

参考结合附图对本公开的示例的以下描述，本公开的上述优点和其他特征将变得更加明显，并且本发明将被本领域普通技术人员更好地理解，其中：

图1A示出了可使用视觉惯性跟踪系统(VITS)技术的示例性眼戴设备的框图；

图1B示出了示例性视觉惯性跟踪系统(VITS)的框图；

图2示出了用于惯性传感器测量的示例性处理管线的框图；

图3示出了可为视觉惯性跟踪系统(VITS)的一部分的示例性EKF跟踪方法；

图4示出了根据现有技术的恒定速度跟踪方法；

图5示出了根据本公开的示例的跟踪方法；

图6是根据本公开示例的跟踪方法的框图；

图7示出了包括经由各种网络连接的可穿戴设备和服务器系统的示例性系统的功能框图；

图8示出了图7的系统的移动设备的示例性硬件配置的框图；

图9示出了计算机系统形式的示例性机器的框图，在该计算机系统内可执行一组指令以使该机器执行本文所讨论的方法中的任一者或多者；并且

图10示出了可在其中实施本公开的示例性软件架构的框图。

具体实施方式

本公开提供了对假设相机在卷帘快门图像读出时间期间以恒定速度移动的情况下的常规相机方位跟踪方法的改进的示例。在一些示例中，惯性传感器读数用于估计相对方位，即，相机方位相对于参考方位的变化，并且使用该相对方位针对由卷帘快门捕获的图像的每条扫描线有效地更新相机方位。这提高了对相机方位的估计的准确性，而没有明显占用AR系统的计算资源。

本公开的若干示例通过附图示出并在下面详细描述。在附图中的图形中，具有相同参考数字标号的元件始终表示相同元件。除非另有说明，否则附图不是按比例绘制的。本文使用的所有术语和措辞仅用于说明的目的，而不应被理解为限制。短语诸如“包括”、“包含”、“具有”及其他变型意在涵盖所描述的项目及其等同物，而不排除其任何附加项目。