[发明专利]执行眼睛注视跟踪的系统和方法

权利要求书

1.一种计算对象的眼睛注视向量的方法，所述方法包括：

a)从一个或多个成像设备捕捉对象的面部的时间间隔图像序列，对象的面部包括对象的一只或两只眼睛；

b)对图像进行处理以检测图像中存在的镜面反射，并确定任何检测到的镜面反射的二维位置；

c)将检测到的镜面反射表征为角膜反射和非角膜反射；

d)在检测到至少一个角膜反射时，基于至少一个角膜反射和至少一个参考眼睛特征的相对位置，执行第一眼睛注视跟踪程序；

e)在检测到无角膜反射时，确定对象的一个或多个参考面部特征的三维位置，并基于来自一个或多个检测到的参考面部特征的位置的对象的头部姿势的估计，来对对象的一只或两只眼睛执行第二眼睛注视跟踪程序；以及

f)从第一眼睛注视跟踪程序或第二眼睛注视跟踪程序输出一只或两只眼睛的眼睛注视向量。

2.根据权利要求1所述的方法，其中所述至少一个参考眼睛特征包括瞳孔中心、虹膜中心、瞳孔/虹膜边界或虹膜/巩膜边界中的一个或多个。

3.根据权利要求1或权利要求2所述的方法，其中对象的参考面部特征包括对象的瞳孔中心、虹膜中心、瞳孔/虹膜边界或虹膜/巩膜边界、眼睑、眼角、嘴角、鼻孔和耳朵。

4.根据前述权利要求中任一项所述的方法，其中表征检测到的镜面反射的步骤包括监控序列中的镜面反射的二维位置，并且当两个或更多个时间间隔图像之间的镜面反射的位置变化小于或等于预定距离时，将所检测到的镜面反射表征为角膜反射。

5.根据前述权利要求中任一项所述的方法，其中第一眼睛注视跟踪程序包括：

确定至少一个参考眼睛特征的二维位置；

将角膜反射和至少一个参考眼睛特征的二维位置拟合到具有已知角膜中心的三维角膜模型，以确定角膜反射和虹膜中心的三维位置；以及

从角膜反射和至少一个参考眼睛特征的三维位置确定一只或两只眼睛的眼睛注视向量。

6.根据前述权利要求中任一项所述的方法，其中第二眼睛注视跟踪程序包括：

将一个或多个参考面部特征的三维位置拟合到三维头部模型；

计算对象的头部姿势，所述对象的头部姿势包括对象的头部的三维位置和三维方位；

确定对象的一只或两只眼睛的至少一个参考眼睛特征的二维位置；

将至少一个参考眼睛特征的二维位置拟合到具有三维头部模型中的已知眼睛中心的三维眼睛模型，以确定至少一个参考眼睛特征的三维位置；

从至少一个参考眼睛特征和眼睛中心的三维位置确定一只或两只眼睛的眼睛注视向量。

7.根据权利要求6所述的方法，包括从图像深度信息估计对象的头部大小，并将对象的头部大小输入到三维头部模型的步骤。

8.根据前述权利要求中任一项所述的方法，其中一个或多个成像设备包括两个相机的立体系统，其中两个相机的每一个在预定的时间段内同步地捕捉图像。

9.根据权利要求1至7中任一项所述的方法，其中一个或多个成像设备包括飞行时间相机。

10.根据权利要求9所述的方法，其中飞行时间相机输出三维图像数据，并且从三维图像数据直接获得二维位置数据。

11.根据权利要求1至7中任一项所述的方法，其中一个或多个成像设备包括能够估计图像深度的单个相机。

12.根据前述权利要求中任一项所述的方法，包括初始相机校准步骤，以校准一个或多个成像设备的位置和方位。

13.根据权利要求5或权利要求6所述的方法，包括初始眼睛校准步骤，以校准注视向量，以补偿对象的中央凹偏移和/或角膜半径。