[发明专利]视线估计方法、装置、系统和存储介质

说明书

本发明提供了一种视线估计方法、装置、系统和存储介质，所述视线估计方法包括：获取待处理的人眼图像；定位所述人眼图像的人眼关键点；以及基于所述人眼关键点确定所述人眼图像中人眼的视线方向。根据本发明实施例的视线估计方法、装置、系统和存储介质利用人眼关键点对人眼图像中的人眼进行视线估计，能够模拟输入特征到视线的复杂映射关系，有效解决浅层模型或线性模型估计不准的问题，从而提高视线估计的精度，且处理速度快。

技术领域

本发明涉及计算机视觉技术领域，更具体地涉及一种视线估计方法、装置、系统和存储介质。

背景技术

在计算机视觉中，视线估计是指基于输入的人脸图像，定位人脸眼睛区域并根据虹膜位置估计人眼视线方向。传统的视线估计方法需要借助于外部设备，如红外光源使得光斑更明显，而且很容易受到光照、遮挡和姿态的影响；或者依赖于人眼睛区域的定位准确性，且很难准确描述人眼特征与视线之间的关系。

因此，需要提供一种新的视线估计方案。

发明内容

本发明提出了一种视线估计方案，其利用人眼关键点对人眼图像中的人眼进行视线估计，能够有效克服浅层模型或线性模型估计不准的缺点。下面简要描述本发明提出的关于视线估计的方案，更多细节将在后续结合附图在具体实施方式中加以描述。

根据本发明一方面，提供了一种视线估计方法，所述视线估计方法包括：获取待处理的人眼图像；定位所述人眼图像的人眼关键点；以及基于所述人眼关键点确定所述人眼图像中人眼的视线方向。

在一个实施例中，所述人眼关键点包括眼睛轮廓点、眼睛中心点、虹膜中心点以及视线投影点。

在一个实施例中，所述基于所述人眼关键点确定所述人眼图像中人眼的视线方向包括：基于所述眼睛轮廓点计算眼睛投影中心；基于所述眼睛投影中心和所述眼睛中心点计算眼睛方向；基于所述虹膜中心点和所述视线投影点计算虹膜方向；以及基于所述眼睛方向和所述虹膜方向计算所述人眼的视线方向。

在一个实施例中，所述基于所述眼睛轮廓点计算眼睛投影中心包括：计算所述眼睛轮廓点的坐标的平均值，以作为所述眼睛投影中心的坐标。

在一个实施例中，所述基于所述眼睛投影中心和所述眼睛中心点计算眼睛方向包括：计算所述眼睛投影中心和所述眼睛中心点之间的偏移量，以确定所述眼睛方向。

在一个实施例中，所述基于所述虹膜中心点和所述视线投影点计算虹膜方向包括：所述虹膜中心点为所述虹膜方向的向量的起点，所述视线投影点为所述虹膜方向的向量的终点。

在一个实施例中，所述基于所述眼睛方向和所述虹膜方向计算所述人眼的视线方向包括：计算所述眼睛方向和所述虹膜方向这两条线的交点，以所述交点为中心的三维坐标对应的角度即为所述视线方向。

在一个实施例中，所述视线估计方法利用训练好的神经网络定位所述人眼图像的人眼关键点，所述神经网络的训练包括：构建人眼样本图像数据库，标注出所述人眼样本图像数据库中每张人眼样本图像的人眼关键点作为标注结果；以及将所述人眼样本图像输入到所述神经网络，并基于梯度下降方法优化所述神经网络的输出结果与所述人眼样本图像的所述标注结果之间的误差，以训练所述神经网络。

在一个实施例中，所述神经网络的训练还包括：对所述人眼样本图像进行预处理，并将经预处理的人眼样本图像作为所述模型的输入。

在一个实施例中，所述对所述人眼样本图像进行预处理包括：使所述每张人眼样本图像与模板人眼图像对齐，所述模板人眼图像为所述人眼样本图像数据库中所有人眼样本图像的平均。

在一个实施例中，所述构建人眼样本图像数据库包括：构建三维人头模型，基于对所述三维人头模型的随机处理得到人眼样本图像以构建所述人眼样本图像数据库。

在一个实施例中，所述构建三维人头模型包括：基于人脸图像通过三维可变形模型获得三维人头模型。