[发明专利]使用离轴相机执行眼睛跟踪的方法和系统

权利要求书

1.一种为光学装置的用户估计凝视矢量的方法，所述方法包括：

从被安装到所述光学装置的相机接收所述用户的眼睛的输入图像；

将所述用户的所述眼睛的所述输入图像提供给神经网络，所述神经网络先前已被使用多个训练输入图像进行训练；

使用所述神经网络生成网络输出数据；以及

基于所述网络输出数据，计算与所述用户的所述眼睛对应的所述凝视矢量。

2.根据权利要求1所述的方法，其中，所述网络输出数据包括以下中的一个或多个：

二维(2D)瞳孔数据；

眼睛分割数据；或者

角膜中心数据。

3.根据权利要求2所述的方法，其中，所述2D瞳孔数据包括2D瞳孔中心。

4.根据权利要求2所述的方法，其中，所述眼睛分割数据包括将所述用户的所述眼睛分割成多个区域的分割，所述多个区域包括背景区域、巩膜区域、瞳孔区域、或虹膜区域中的一个或多个。

5.根据权利要求2所述的方法，其中，所述角膜中心数据包括2D或3D角膜中心。

6.根据权利要求2所述的方法，进一步包括：

基于所述2D瞳孔数据和所述眼睛分割数据，计算三维(3D)瞳孔中心。

7.根据权利要求6所述的方法，进一步包括：

基于所述3D瞳孔中心和所述角膜中心数据，计算与所述用户的所述眼睛相关联的光轴。

8.根据权利要求7所述的方法，进一步包括：

基于所述光轴和与用户对应的校准角，计算与所述用户的所述眼睛相关联的凝视矢量。

9.根据权利要求1所述的方法，其中，所述神经网络先前被通过以下方式进行训练：

针对所述多个训练输入图像中的每个训练输入图像：

向所述神经网络提供所述训练输入图像；

使用所述神经网络生成训练网络输出数据；

接收真实GT数据；

基于所述训练网络输出数据与所述GT数据之间的差来计算误差数据；以及

基于所述误差数据修改所述神经网络。

10.根据权利要求9所述的方法，其中，所述训练网络输出数据包括以下中的一个或多个：

训练2D瞳孔中心数据；

训练眼睛分割数据；

训练闪光检测数据；或者

训练角膜中心数据。

11.根据权利要求10所述的方法，其中，所述GT数据包括以下中的一个或多个：

2D瞳孔中心GT数据；

眼睛分割GT数据；或者

闪光检测GT数据。

12.根据权利要求11所述的方法，其中，所述眼睛分割GT数据包括将所述用户的所述眼睛分割成多个训练区域的手动创建的分割，所述多个训练区域包括训练背景区域、训练巩膜区域、训练瞳孔区域、以及训练虹膜区域中的一个或多个。

13.根据权利要求11所述的方法，其中，所述闪光检测GT数据包括手动创建的闪光位置的标识。

14.根据权利要求11所述的方法，其中，所述误差数据包括以下中的一个或多个：

所述训练2D瞳孔中心数据与所述2D瞳孔中心GT数据之间的差；

所述训练眼睛分割数据与所述眼睛分割GT数据之间的差；

所述训练闪光检测数据与所述闪光检测GT数据之间的差；或者

基于所述训练角膜中心数据和一个或多个几何约束的误差。