[发明专利]基于三维眼球模型的眼球参数标定和视线方向跟踪方法

说明书

本发明公开了一种基于三维眼球模型的眼球参数标定和视线方向跟踪方法，包括以下步骤：S1，将人物视点固定在三维空间中并拍摄脸部视频，利用所述脸部视频标定人物的眼睛参数，并同时估算所述人物视点的位置；S2，利用所述眼睛参数计算人物任意其他面部视频中的视点位置获得视线方向，同时对所述视线方向进行跟踪。该方法利用三维眼球模型与眼睛图像的对应投影关系建立能量函数，标定眼睛参数，建立一个与真实情况更接近的视线方向模型，实现高精度的视线方向跟踪。

技术领域

本发明涉及计算机视觉和图形学技术领域，特别涉及一种基于三维眼球模型的眼球参数标定和视线方向跟踪方法。

背景技术

人眼视线跟踪是计算机视觉与计算机图形学领域中一个重要且基础的问题，它在人机交互、虚拟现实及增强现实等领域也有非常广泛的应用。例如，在计算机视觉中，人眼在屏幕上的注视点可用于完成各种人机交互功能；在增强现实中，视线方向可用于调整显示的内容以产生更佳的真实感。正是由于眼睛能够表达人类丰富的情感，人眼视线跟踪的研究具有极高的科研和应用价值。

在计算机图形学和计算机视觉领域，高精度的视线方向跟踪一直是一个重要且具有挑战性的问题。由于在大多数方法使用的彩色视频中无法拍摄到完整的眼球，其大部分被眼皮遮挡，求解出的视线方向也通常会与真实眼球的成像特性有很大差异。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于三维眼球模型的眼球参数标定和视线方向跟踪方法。

为达到上述目的，本发明提出了基于三维眼球模型的眼球参数标定和视线方向跟踪方法，包括以下步骤：S1，将人物视点固定在三维空间中并拍摄脸部视频，利用所述脸部视频标定人物的眼睛参数，并同时估算所述人物视点的位置；S2，利用所述眼睛参数计算人物任意其他面部视频中的视点位置获得视线方向，同时对所述视线方向进行跟踪。

本发明实施例的基于三维眼球模型的眼球参数标定和视线方向跟踪方法，利用三维眼球模型与眼睛图像的对应投影关系建立能量函数，标定眼睛参数，建立一个与真实情况更接近的视线方向模型，从而实现高精度的视线方向跟踪。

另外，根据本发明上述实施例的基于三维眼球模型的眼球参数标定和视线方向跟踪方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述眼睛参数包括眼球相对头部的位置，眼球光轴与视轴间的夹角和虹膜大小。

进一步地，在本发明的一个实施例中，标定所述眼球参数时，在使用的所述脸部视频中，要求人物始终注视空间中的一个固定位置。

进一步地，在本发明的一个实施例中，所述步骤S1进一步包括：S101，检测所述脸部视频中每帧的面部特征点，估算头部的空间位姿，以得到所述人脸视频每帧中眼球在三维空间中的位置；S102，利用眼球在三维空间中的位置及视点位置计算视频每帧中的视线方向，并通过所述眼球光轴与视轴间的夹角得到每帧中的光轴，以得到第一眼球转动信息；S103，根据所述第一眼球转动信息结合相机参数矩阵，利用灰度差异建立所有视频帧的总能量函数，优化求解所有变量。

进一步地，在本发明的一个实施例中，所述步骤S103中，利用虹膜边界顶点的灰度值与图像中对应像素的灰度值之间间的差异建立起能量函数，其中，能量越低，三维眼球的投影与二维图像越一致。

进一步地，在本发明的一个实施例中，所述人脸视频每帧中眼球在三维空间中的位置为所述眼球相对头部的位置和所述头部的空间位姿的叠加。

进一步地，在本发明的一个实施例中，所述视线方向为所述人脸视频每帧中眼球在三维空间中的位置与所述视点位置的连线。