[发明专利]一种像素级精度的人眼注视点定位方法

说明书

本发明公开了一种像素级精度的人眼注视点定位方法，通过深度网络关键点之后，采用计算眼部区域图像的梯度，去进一步修正瞳孔中心位置。相比于现有的视线估计方法，能够更精确的定位瞳孔中心位置，尤其是对于头部或眼球偏置较大的情况。本发明实施例能够有效的提升视线估计的精度，进而定位到用户的实现注视点位置。除此之外，通过深度网络估计眼睛到屏幕的距离，进而将估计出用户在屏幕上的注视点。相比于瞳孔角膜反射方法，只采用单个网络摄像头，大大降低了设备成本。相比现有单图处理的方法，本发明不需要限制头部的姿态，算法的鲁棒性大大增加。通过与3D人脸模型匹配，解决了现有数据库无法表示所有姿态的局限性问题，增加了该方法的实用性。

技术领域

本发明实施例涉及一种像素级精度的人眼注视点定位方法，尤其是涉及一种像素级精度的人眼注视点定位方法。

背景技术

随着计算机科学的发展，人机交互逐渐成为了一个热门的领域。人眼视线能够反映人的关注信息，也属于人机交互中重要的信息输入源。基于视线估计的人机交互在军事、医疗、娱乐等领域有着广阔的发展前景。

一般来说，视线估计方法可以分为基于几何的方法(Geometry Based Methods)和基于外观的方法(Appearance Based Methods)两大类。基于几何的方法的基本思想是检测眼睛的一些特征(例如眼角、瞳孔位置等关键点)，然后根据这些特征来计算gaze。而基于外观的方法则是直接学习一个将外观映射到gaze的模型。两类方法各有长短：几何方法相对更准确，且对不同的domain表现稳定，然而这类方法对图片的质量和分辨率有很高的要求；基于外观的方法对低分辨和高噪声的图像表现更好。

目前比较常用的技术为瞳孔角膜反射技术(PCCR)，使用近红外光源使用户眼睛的角膜和瞳孔上产生反射图像，然后使用图像传感器采集眼睛与反射的图像，最后基于三维眼球模型计算眼睛在空间中的位置和视线。这个方法虽然具有较高的精度，但是受限于昂贵的传感器设备难以普及。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种结合多级神经网络来精确定位瞳孔中心，提升方案的精度，增加方案的可行性。

本发明实施例提出了一种像素级精度的人眼注视点定位方法，通过神经网络回归出的2D关键点和3D关键点等相关数据，能够有效的提升估计的精度，相比于单纯2D或者3D深度学习的方法，精度得到极大的提升，增强了用户体验。

本发明的一种像素级精度的人眼注视点定位方法，包括下列步骤：

步骤S1，构建人脸关键点检测以及姿态估计网络模型，使用自动搜索网络为主网络，自定义网络为分支网络组成的网络结构构建关键点与姿态估计模型；

步骤S2，计算目标人物在图像中偏移量和头部姿态，使用3D关键点模型计算头部姿态，使用2D关键模型模计算目标人物在图像中偏移量，并提取眼部区域；

步骤S3，利用瞳孔关键点在所述眼部区域的偏移量，计算目标人物的视场角度：使用虹膜分割网络和2D瞳孔关键确定瞳孔中心位置，并根据所述眼部区域的2D关键点数据，计算所述瞳孔关键点在眼部区域的偏移量，进而计算所述目标人物的视场角度；

步骤S4，根据相机视场角计算所述目标人物所在空间平面：根据头部姿态和注视方向的角度，计算所述相机目标空间平面的注视点坐标；

步骤S5，根据所述步骤S4计算的注视点空间坐标，映射到显示图像的像素上。

相比于现有基于单图像的传统图像处理方法，不需要限制头部的姿态，算法的鲁棒性大大增加。通过于3D人脸模型的匹配，消除了姿态的局限性，从而增加了该方法的实用性，其主要优点如下：

1.本发明深度学习网络回归人脸3D关键，充分利用了3D关键点模型整体误差小，局部细节较差，而且回归数据稳定的特性，计算头部姿态，与传统的基于n点透视的计算头部方法相比，精度更高且更稳定；