[发明专利]基于眼睛注视的相机自动聚焦

说明书

背景

消费者电子设备中的相机的最大问题之一是用户想要捕捉图像(例如，照片或视频)与实际上捕捉到该图像之间的时间。用于自动聚焦相机的技术有助于减轻必须手动聚焦相机的用户负担。然而，自动聚焦算法可耗费时间来执行。而且，该算法可能使相机误聚焦于错误物体。

用于自动聚焦的一种技术是使相机扫过一焦距范围，以便在多个距离中的每一距离处收集图像数据。然后使用图像处理来分析图像数据以确定哪一个图像提供了最佳聚焦。相机然后在该最佳焦距拍摄照片。这一技术的问题在于相机扫过不同焦距所花费的时间。

另一种技术是选择相机视野中的物体。相机然后可以自动聚焦于该物体。一些相机可检测脸部并自动聚焦于脸部。然而，可能难以知晓相机应聚焦于什么物体，因为知晓用户希望拍摄什么物体的照片可能是困难的。例如，前景中可以有一个人，背景中有一棵树。如果相机系统不正确地假定用户期望拍摄前景中的人的照片，则树将是失焦。当然，相机可以重新聚焦于树，但这耗费额外的时间。如果用户曾尝试拍摄树中的鸟的照片，则这只鸟可能在相机聚焦时已经飞走。

概述

公开了用于使相机自动聚焦的方法和系统。技术包括跟踪眼睛的眼睛注视以确定用户所专注的位置。然后，相机透镜可以聚焦于该位置。这允许相机的快速聚焦。

一个实施例包括一种用于使相机自动聚焦的方法，包括以下内容。使用眼睛跟踪系统来跟踪用户的眼睛注视。基于眼睛跟踪来确定对应于在一时间点用户的眼睛正在注视的方向的向量。该方向在相机的视野中。基于该向量与相机透镜位置来确定距离。透镜基于该距离来自动聚焦。

一个实施例包括一种系统，该系统包括具有透镜的相机以及耦合到该相机的逻辑。逻辑被配置成执行以下动作。逻辑被配置成确定第一向量，该第一向量对应于在一时间点用户的第一眼睛正在注视的第一方向。逻辑被配置成确定第二向量，该第二向量对应于在该时间点用户的第二眼睛正在注视的第二方向。逻辑被配置成确定第一向量与第二向量的交点位置。逻辑被配置成确定交点位置与透镜位置之间的距离。逻辑被配置成使透镜基于该距离来聚焦。

一个实施例包括一种用于使相机自动聚焦的方法，包括以下内容：使用眼睛跟踪系统来跟踪用户的眼睛。基于眼睛跟踪来确定多个第一向量，该多个第一向量各自对应于在不同时间点用户的第一眼睛正在注视的第一方向。基于眼睛跟踪来确定多个第二向量，该多个第二向量各自对应于在这些不同时间点中的相应时间点用户的第二眼睛正在注视的第二方向。确定针对这些不同时间点中的每一时间点的第一向量与第二向量的多个交点。基于多个交点位置来生成深度图。基于深度图来使相机透镜自动聚焦。

提供本概述以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图简述

图1A和图1B示出了基于跟踪一个人的眼睛注视的方向来使相机聚焦的示例。

图2A是使相机自动聚焦的过程的一个实施例的流程图。

图2B是使用两个眼睛向量的交点来使相机自动聚焦的过程的一个实施例的流程图。

图2C是帮助示出计算眼睛注视位置的一个实施例的原理的图示。

图2D是使用眼睛向量和深度图像来使相机自动聚焦的流程图。

图3A是描绘HMD设备的一个实施例的各示例组件的框图。

图3B描绘HMD设备的一部分的俯视图。

图3C示出定位成在配备在一副眼镜中的混合现实显示设备上面对各相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的示例性布置。

图3D示出定位成在配备在一副眼镜中的混合现实显示设备上面对各相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的另一示例性安排。

图3E示出由该副眼镜定位成面对各相应眼睛的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的又一示例性安排。

图4是描绘HMD设备的各个组件的框图。

图5是HMD设备的处理单元的各组件的一个实施例的框图。

图6是基于用户注视的位置的深度图来使相机聚焦的过程的一个实施例的流程图。

图7是用于使相机自动聚焦的过程的一个实施例的流程图。

图8A是基于眼睛跟踪来使相机自动聚焦的过程的一个实施例的流程图，其中相机选择脸部来聚焦。