[发明专利]近眼显示器中的眼睛跟踪

说明书

用于在增强现实系统中跟踪眼睛运动的技术识别对象或其一部分的多张基本图像。可以至少部分地基于多张基本图像中的至少一些生成搜索图像。可以至少通过使用深度学习模式中的神经网络对基本图像执行深度学习过程来生成深度学习结果。可以至少通过使用卡尔曼滤波器模型和深度学习结果对捕获的图像和搜索图像执行图像配准过程来定位捕获图像。

技术领域

本公开一般地涉及用于在诸如增强现实系统之类的近眼显示器中跟踪眼睛运动的方法和系统，更具体地，涉及通过使用利用深度卷积神经网络的深度学习模型的基于视网膜的跟踪，以及利用卡尔曼滤波器模型的图像配准过程，而不使用常规的基于瞳孔亮斑的技术来跟踪眼睛运动。

背景技术

包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)和扩展现实(XR)头戴式装置的空间计算头戴式装置已被证明对于跨越科学可视化、医学和军事训练、工程设计和原型设计、远程操作和远程呈现以及个人娱乐系统等领域的许多应用具有不可估量的价值。在空间计算头戴式装置中，虚拟或增强场景经由光学组件显示给用户，该光学组件可定位并可固定在用户头部，位于用户眼前。

已经开发了头戴式显示器(HMD)，用于在3D虚拟和增强环境领域进行广泛应用。准确高速的眼睛跟踪对于实现HMD中的关键场景非常重要，例如，通过随中央凹变化的显示方案和新型人机交互界面实现的视场(FOV)和分辨率权衡。嵌入HMD中的眼睛跟踪器可分为侵入式方法(例如，巩膜线圈)和非侵入式基于视频的方法，后者更为常见。当前基于视频的方法主要使用眼球的不同特征，如虹膜、瞳孔和亮斑，其中瞳孔亮斑方法应用最为广泛。这些方法的平均跟踪误差为0.5°-1.°，而这些特征的跟踪分辨率约为每像素0.7°-1.°。要进一步提高超过跟踪分辨率的精度并不容易。

除了使用眼表面的特征外，也可以将视网膜图像用于医学领域的眼睛跟踪，例如眼睛跟踪扫描激光检眼镜(SLO)。他们利用小FOV高分辨率图像中视网膜运动估计的扫描失真，然而，该技术是专为小扫视而设计的，并且SLO不容易集成到HMD中。HMD中基于视网膜的眼睛跟踪有其自身的优势：无需高级传感器、线性注视估计模型和视网膜中央凹的直接定位，即可获得更高的跟踪分辨率。此外，视网膜跟踪提供了HMD的广泛医疗应用。

此外，现代对象识别方法基本上利用了机器学习方法。为了提高其性能，一些实施例可以收集更大的数据集，学习更强大的模型，并使用更好的技术来防止过拟合。直到最近，标记图像的数据集还相对较小，大约为数万张图像。使用这种大小的数据集，可以很好地解决可以建立对象跟踪的简单识别任务，特别是如果使用标签保留变换来增强这些任务。例如，MNIST数字识别任务的当前最佳错误率(0.3％)接近人类表现。但现实环境中的对象表现出相当大的可变性，因此要学会识别它们，可能需要使用更大的训练集。小图像数据集的缺点已被广泛认识到，但最近才有可能收集具有数百万图像的标记数据集。

为了从数百万张图像中了解数千个对象，迫切需要一个具有强大学习能力的模型。尽管如此，对象识别任务的巨大复杂性意味着即使是像ImageNet(图像网络)这样大的数据集也无法确定这个问题，因此在一些实施例中，模型也应该具有大量的先验知识，以补偿现代技术根本不具备的所有数据。卷积神经网络(CNN)构成了一类这样的模型。它们的容量可以通过改变其深度和宽度来控制，并且它们还对图像的性质(即，统计的平稳性和像素相关性的局部性)做出了有力且基本正确的假设。因此，与具有类似大小的层的标准前馈神经网络相比，CNN具有更少的连接和参数，因此更易于训练，而其理论上的最佳性能可能仅稍差。

尽管CNN具有吸引人的品质，并且尽管其局部架构相对有效，但大规模应用于高分辨率图像的成本仍然十分高昂。

此外，视觉对象跟踪是计算机视觉各种任务(如自动驾驶和视频监控)的基本组成部分。它在由照明、变形、遮挡和运动引起的大的外观变化方面具有挑战性。此外，速度在实际应用中也很重要。