[发明专利]基于三维眼球模型的眼球参数标定和视线方向跟踪方法

权利要求书

1.一种基于三维眼球模型的眼球参数标定和视线方向跟踪方法，其特征在于，包括以下步骤：

S1，将人物视点固定在三维空间中并拍摄脸部视频，利用所述脸部视频标定人物的眼睛参数，并同时估算所述人物视点的位置，具体包括：

S101，检测所述脸部视频中每帧的面部特征点，估算头部的空间位姿，以得到所述脸部视频每帧中眼球在三维空间中的位置；

S102，利用眼球在三维空间中的位置及视点位置计算视频每帧中的视线方向，并通过所述眼球光轴与视轴间的夹角得到每帧中的光轴，以得到第一眼球转动信息；

S103，根据所述第一眼球转动信息结合相机参数矩阵，利用灰度差异建立所有视频帧的总能量函数，优化求解所有变量；

S2，利用所述眼睛参数计算人物任意其他面部视频中的视点位置获得视线方向，同时对所述视线方向进行跟踪。

2.根据权利要求1所述的基于三维眼球模型的眼球参数标定和视线方向跟踪方法，其特征在于，所述眼睛参数包括眼球相对头部的位置，眼球光轴与视轴间的夹角和虹膜大小。

3.根据权利要求1所述的基于三维眼球模型的眼球参数标定和视线方向跟踪方法，其特征在于，所述标定人物的眼球参数时，在使用的所述脸部视频中，人物需始终注视空间中的一个固定位置。

4.根据权利要求1所述的基于三维眼球模型的眼球参数标定和视线方向跟踪方法，其特征在于，所述步骤S103中，利用虹膜边界顶点的灰度值与图像中对应像素的灰度值之间的差异建立起能量函数，其中，能量越低，三维眼球的投影与二维图像越一致。

5.根据权利要求1所述的基于三维眼球模型的眼球参数标定和视线方向跟踪方法，其特征在于，所述脸部视频每帧中眼球在三维空间中的位置为所述眼球相对头部的位置和所述头部的空间位姿的叠加。

6.根据权利要求1所述的基于三维眼球模型的眼球参数标定和视线方向跟踪方法，其特征在于，所述视线方向为所述脸部视频每帧中眼球在三维空间中的位置与所述视点位置的连线。

7.根据权利要求1所述的基于三维眼球模型的眼球参数标定和视线方向跟踪方法，其特征在于，所述步骤S2进一步包括：

S201，检测所述脸部视频中中某一帧的面部特征点，估算头部的空间位姿，以得到所述脸部视频某一帧中眼球在三维空间中的位置；

S202，利用眼球在三维空间中的位置及视点位置计算当前帧中的视线方向，并通过所述步骤S1求得的当前帧的光轴，以得到第二眼球转动信息；

S203，根据所述第二眼球转动信息结合相机参数矩阵，将三维眼球模型上虹膜边缘的顶点投影到二维图像中，利用灰度差异建立当前帧的能量函数，优化求解视点位置，并根据所述视点位置最终确定当前帧的视线方向进行跟踪。