[发明专利]视线跟踪方法和设备

权利要求书

1.一种视线跟踪方法，其特征在于包括：

获取包含用户头部的图像作为输入图像；

根据输入图像对面部关键点进行跟踪；

根据跟踪到的面部关键点，对瞳孔中心和眼球中心进行定位，以确定瞳孔中心的三维坐标和眼球中心的三维坐标；

使用瞳孔中心的三维坐标和眼球中心的三维坐标，计算用户的视线方向。

2.根据权利要求1所述的视线跟踪方法，其中，对瞳孔中心进行定位的步骤包括：

根据面部关键点的二维坐标或三维坐标获得眼部纹理图像，并计算形状归一化的眼部纹理图像；

从形状归一化的眼部纹理图像中检测实际瞳孔区域；

根据实际瞳孔区域确定瞳孔中心的坐标，并通过对瞳孔中心的坐标进行逆形状归一化，来计算瞳孔中心在输入图像中的坐标，

其中，通过将瞳孔中心在输入图像中的坐标映射到面部关键点的三维坐标所在的坐标系来获得瞳孔中心的三维坐标。

3.根据权利要求2所述的视线跟踪方法，其中，计算形状归一化的眼部纹理图像的步骤包括：将眼部纹理图像所覆盖的像素变换到规范化的纹理模板中，以获得形状归一化的眼部纹理图像，

其中，通过将在眼部处于预定形状的条件下获得的眼部关键点投影到输入图像所在的平面上得到规范化的纹理模板。

4.根据权利要求2所述的视线跟踪方法，其中，从形状归一化的眼部纹理图像中检测实际瞳孔区域的步骤包括：

从眼部纹理图像中检测多个瞳孔候选区域；

从检测的多个瞳孔候选区域中选择瞳孔区域；

根据瞳孔区域确定实际瞳孔区域。

5.根据权利要求4所述的视线跟踪方法，其中，从眼部纹理图像中检测多个瞳孔候选区域的步骤包括：

使用窗口对眼部纹理图像进行扫描以获得多个窗口区域；

使用下面的等式计算每个窗口区域的分数值

S(R)=Σx∈RI(x)-αΣx∈ER▿I(x)+β(1NΣx∈R(I(x)-I‾(R))2)12I‾(R)-γN,]]>

其中，R表示窗口区域，ER表示窗口边缘区域，x表示像素坐标，I(x)为在像素坐标x处的像素的亮度，▽I(x)表示在像素坐标x处的亮度梯度，N为窗口区域内像素的个数，表示窗口区域内的像素的亮度均值，α、β、γ为权重系数，S(R)为窗口区域R的分数值；

选择预定数量的分数值最小的窗口区域作为瞳孔候选区域。