[发明专利]用于眼睛跟踪的个性化神经网络

说明书

本文公开了一种可穿戴显示系统，其用于捕获用户的眼睛的再训练眼睛图像以再训练用于眼睛跟踪的神经网络。当用户界面(UI)事件相对于在显示器的显示位置处显示的UI设备发生时，该系统使用图像捕获设备来捕获再训练眼睛图像。该系统可以生成包括再训练眼睛图像和再训练眼睛图像中(例如，与UI设备的显示位置有关的)用户的眼睛的眼睛姿势的再训练集，并获得使用再训练集再训练的再训练神经网络。

相关申请的交叉引用

本申请要求于2017年9月20日提交的题为“PERSONALIZED NEURAL NETWORK FOREYE TRACKING(用于眼睛跟踪的个性化神经网络)”的美国临时申请号62/560,898的优先权的权益，其全部内容通过引用合并于此。

技术领域

本公开涉及虚拟现实以及增强现实成像和可视化系统，并且尤其涉及用于眼睛跟踪的个性化神经网络。

背景技术

深度神经网络(DNN)是一种计算机器学习方法。DNN属于一类人工神经网络(NN)。利用NN，可以构建模拟生物神经网络的特征的计算图。生物神经网络包括对计算很重要并负责生物系统的许多功能的特征，这些功能否则可能很难通过其他方法捕获。在一些实现中，这样的网络被布置成其中连接是单向的顺序分层结构。例如，可以将特定层的人工神经元的输出连接到后续层的人工神经元的输入。DNN可以是具有大量层(例如,10、100或更多层)的NN。

不同的NN从不同角度看彼此不同。例如，不同NN的拓扑或架构(例如，层的数量以及层如何互连)以及权重可以不同。权重可以近似地类似于生物系统中神经连接的突触强度。权重会影响从一层传播到另一层的效果的强度。人工神经元的输出可以是其输入的加权和的非线性函数。NN的权重可以是出现在这些求和中的权重。

发明内容

在一方面，公开了一种可穿戴显示系统。可穿戴显示系统包括：图像捕获设备，其被配置为捕获用户的眼睛的多个再训练眼睛图像；显示器；非暂时性计算机可读存储介质，其被配置为存储：多个再训练眼睛图像，以及用于眼睛跟踪的神经网络；以及与图像捕获设备、显示器和非暂时性计算机可读存储介质通信的硬件处理器，该硬件处理器由可执行指令编程为：接收由图像捕获设备捕获的和/或存储在非暂时性计算机可读存储介质(其可以由图像捕获设备捕获)中的多个再训练眼睛图像，其中，当用户界面(UI)事件相对于在显示器的显示位置处显示给用户的UI设备而发生时，图像捕获设备捕获多个再训练眼睛图像中的再训练眼睛图像；生成包括再训练输入数据和对应的再训练目标输出数据的再训练集，其中，再训练输入数据包括再训练眼睛图像，并且其中，对应的再训练目标输出数据包括用户的眼睛在与显示位置有关的再训练眼睛图像中的眼睛姿势；以及获得再训练神经网络，该再训练神经网络使用再训练集根据用于眼睛跟踪的神经网络再训练。

在另一方面，公开了一种用于再训练用于眼睛跟踪的神经网络的系统。该系统包括：存储可执行指令的计算机可读存储器；以及一个或多个处理器，其由可执行指令编程以至少：接收用户的眼睛的多个再训练眼睛图像，其中，当用户界面(UI)事件相对于在用户设备的显示位置处显示给用户的UI设备而发生时，捕获多个再训练眼睛图像中的再训练眼睛图像；生成包括再训练输入数据和对应的再训练目标输出数据的再训练集，其中，再训练输入数据包括再训练眼睛图像，并且其中，对应的再训练目标输出数据包括再训练眼睛图像中与显示位置有关的用户的眼睛的眼睛姿势；使用再训练集再训练用于眼睛跟踪的神经网络以生成再训练神经网络。

在另一方面，公开了一种用于再训练神经网络的方法。该方法在硬件处理器的控制下并且包括：接收用户的眼睛的多个再训练眼睛图像，其中，当用户界面(UI)事件相对于在显示位置处显示给用户的UI设备而发生时，捕获多个再训练眼睛图像中的再训练眼睛图像；生成包括再训练输入数据和对应的再训练目标输出数据的再训练集，其中，再训练输入数据包括再训练眼睛图像，并且其中，对应的再训练目标输出数据包括再训练眼睛图像中与显示位置有关的用户的眼睛的眼睛姿势；以及使用再训练集再训练神经网络以生成再训练神经网络。