[发明专利]近眼显示器中的眼睛跟踪

权利要求书

1.一种用于在近眼显示器中跟踪眼睛运动的方法，包括：

识别对象或其一部分的多张基本图像；

至少部分地基于所述多张基本图像中的至少一些生成搜索图像；

至少通过使用深度学习模型中的神经网络对基本图像执行深度学习过程来生成深度学习结果；以及

至少通过使用卡尔曼滤波器模型和所述深度学习结果对捕获的图像和所述搜索图像执行图像配准过程来将所述捕获的图像定位到所述搜索图像。

2.根据权利要求1所述的方法，其中，所述对象包括用户的视网膜，并且在不使用响应于一个或多个输入光图案而从所述瞳孔捕获亮斑的瞳孔亮斑技术的情况下，相对于所述搜索图像定位表示所述视网膜的至少一部分的所述捕获的图像。

3.根据权利要求1所述的方法，其中，生成所述深度学习结果包括：

使用深度卷积神经网络(DCNN)提取所述捕获的图像中的区域中的特征；

将所述特征转换为包括第一特征和第二特征的多个特征；

至少部分地基于所述第一特征，将所述区域分类为正区域或负区域；以及

至少部分地基于所述第二特征，确定所述区域的回归或校正。

4.根据权利要求1所述的方法，其中，生成所述深度学习结果包括：

使用深度卷积神经网络(DCNN)提取所述捕获的图像中的区域中的特征；以及

将所述特征转换为包括第一特征和第二特征的多个特征。

5.根据权利要求4所述的方法，其中，生成所述深度学习结果进一步包括：

至少通过使用所述DCNN中的一个或多个卷积层卷积至少所述第一特征来生成第一响应图；以及

至少部分地基于所述第一响应图，将所述区域分类为正区域或负区域。

6.根据权利要求5所述的方法，其中，生成所述深度学习结果还包括：

至少通过使用所述DCNN中的所述一个或多个卷积层或一个或多个不同的卷积层卷积所述第二特征来生成第二响应图；以及

至少使用所述第二响应图来确定所述区域的预测位置的回归或校正。

7.根据权利要求1所述的方法，其中，定位所述捕获的图像包括：

将所述深度学习过程嵌入到状态转换模型中；以及

在所述卡尔曼滤波器模型处至少使用所述状态转换模型接收所述深度学习结果作为一个或多个测量，其中，所述状态转换模型用于至少部分地基于先前时间点的先前位置状态和状态估计模型的控制向量或过程噪声中的至少一个，确定下一时间点的下一位置状态。

8.根据权利要求7所述的方法，其中，定位所述捕获的图像包括：

通过在所述图像配准过程中至少使用所述卡尔曼滤波器模型来确定下一时间点的测量；

至少通过执行所述图像配准过程来减少相似背景或一个或多个相似特征的干扰；以及

使用所述卡尔曼滤波器模型和所述图像配准过程在所述搜索图像中定位所述捕获的图像。

9.根据权利要求7所述的方法，其中，嵌入所述深度学习过程包括：

确定所述状态转换模型的一个或多个控制向量；

从统计分布中导出过程噪声；以及

确定所述状态转换模型的时间步长。

10.根据权利要求9所述的方法，其中，使用所述卡尔曼滤波器模型和所述图像配准过程在所述搜索图像中定位所述捕获的图像包括：

对所述捕获的图像的整个帧执行粗略配准；以及

对在所述粗略配准中涉及的区域周围的外部区域中的一个或多个特征或特征点执行精细配准。

11.根据权利要求10所述的方法，其中，对所述捕获的图像的所述整个帧执行所述粗略配准包括：

在所述捕获的图像的所述整个帧或所述搜索图像中的一个或多个区域中检测所述一个或多个特征或特征点；以及

将所述捕获的图像配准到所述整个帧中的所述一个或多个区域。