[发明专利]视线跟踪方法和设备

说明书

技术领域

本发明涉及计算机视觉和图像处理技术，具体涉及一种视线跟踪方法和设备。

背景技术

视线方向跟踪技术具有非常广泛的应用，如在认知科学、心理学、医学、残疾人辅助等领域。随着计算机技术的发展，视线跟踪技术还被用于人机交互、虚拟现实等方面。例如，一些研究工作尝试使用视线或视点检测装置作为计算机的输入接口，以获得更迅速的响应，在一定程度上取代鼠标和键盘。另外，通过获取观察者的视线，得到其感兴趣的位置，以进行网页、广告等的设计优化。

使用不同的分类方法，视线跟踪技术可以被分为很多类别，如接触式、非接触式，光学方法、电子方法、基于穿着设备的方法和远距离跟踪等。下面介绍几种比较典型的视线跟踪方法或系统。

最早的视线跟踪系统使用与眼球直接接触的器件，跟随眼球的运动。通过光学方法或者电磁传感器，得到其运动信息，也就得到了眼球的运动信息，经过校准，就可以获得视线方向。这类方法通常具有较高的灵敏性和精度，但由于采用侵入式获取信息的方式，用户使用非常不便，设备的价格较高。

另一种接触式检测方法基于眼球运动时眼部区域电势场变化的原理，在眼睛周围粘贴一些电子传感探头，测量电子信号的变化。与基于光学的方法相比，这种方法对使用环境的光照条件没有任何要求。

在基于光学观测的各种方法和系统中，最常用的手段是使用一个或多个近红外或可见光光源，以及一个或多个图像传感器，得到眼部图像，测量反光位置以及虹膜、瞳孔的几何参数来估计视线方向。眼球结构中，有多个可以产生反光的位置，如角膜内外表面，晶状体内外表面。另外，使用特殊设备，还可以直接捕获视网膜表面的图像，用于眼球运动和视线跟踪。使用光学观测的方法可以使传感器不与用户直接接触，使用比较方便，所以成为应用范围最广泛的一种方式。

视线方向可以看作头部方向与眼球方向的合成。如果使用固定在头部的跟踪方法和系统，为了得到视线方向，通常还需测量头部的运动。使用不依附于头部的远距离跟踪方法和系统，通常可以直接得到视线方向。在这类系统中，一部分要求用户的头部固定，另外一部分则允许用户的头部在一定范围内运动。

大部分现有的技术依赖于专用设备，如电压传感器、红外光源、高分辨率摄像头、微距镜头、头戴固定装置等。在增加成本的同时，限制了这一技术的应用范围。在精度要求不十分严格的应用中，使用常见的普通分辨率摄像头实现视线方向跟踪，尤其是只使用一个摄像头实现视线方向跟踪，是非常必要的。在很多视线跟踪系统中，用户的头部被限制为不能移动，或者仅允许平移，不允许旋转，或者仅允许在很小的范围内旋转，或者不允许面部表情变化，这些都降低了用户使用的舒适性和跟踪系统的应用范围。部分技术只根据头部方位来确定视线方向，大大降低了精度。另外，大部分视线跟踪系统需要校准环节，降低了易用性。

发明内容

本发明的目的在于提供一种视线跟踪方法和设备，其能够仅使用一个摄像头捕获的视频图像就可实现对视线的跟踪。

本发明的目的还在于提供一种视线跟踪方法和设备，其能够在用户面部表情和/或头部姿态发生变化的情况下也可以实现对视线的跟踪。

本发明的一方面在于提供一种视线跟踪方法，其特征在于包括：获取包含用户头部的图像作为输入图像；根据输入图像对面部关键点进行跟踪；根据跟踪到的面部关键点，对瞳孔中心和眼球中心进行定位，以确定瞳孔中心的三维坐标和眼球中心的三维坐标；使用瞳孔中心的三维坐标和眼球中心的三维坐标，计算用户的视线方向。

此外，对瞳孔中心进行定位的步骤可包括：根据面部关键点的二维坐标或三维坐标获得眼部纹理图像，并计算形状归一化的眼部纹理图像；从形状归一化的眼部纹理图像中检测实际瞳孔区域；根据实际瞳孔区域确定瞳孔中心的坐标，并通过对瞳孔中心的坐标进行逆形状归一化，来计算瞳孔中心在输入图像中的坐标，其中，通过将瞳孔中心在输入图像中的坐标映射到面部关键点的三维坐标所在的坐标系来获得瞳孔中心的三维坐标。

此外，计算形状归一化的眼部纹理图像的步骤可包括：将眼部纹理图像所覆盖的像素变换到规范化的纹理模板中，以获得形状归一化的眼部纹理图像，其中，通过将在眼部处于预定形状的条件下获得的眼部关键点投影到输入图像所在的平面上得到规范化的纹理模板。

此外，从形状归一化的眼部纹理图像中检测实际瞳孔区域的步骤可包括：从眼部纹理图像中检测多个瞳孔候选区域；从检测的多个瞳孔候选区域中选择瞳孔区域；根据瞳孔区域确定实际瞳孔区域。