[发明专利]一种基于深度回归网络的视线估计方法

说明书

本专利提出了一种基于深度回归网络的视线估计方法，属于计算机视觉和机器学习领域。该方法的主要思想是通过深度回归网络建立输入图像特征和视线之间的映射关系。首先，提取眼部图像区域的梯度方向直方图特征；接着，建立5层的深度回归模型，拟合输入图像特征和输出视线方向之间的映射关系；之后，利用梯度下降法优化深度回归模型的参数；最后，对于待估计眼部图像，利用学习好的深度模型估计视线方向。

技术领域

本发明属于计算机视觉技术领域，涉及深度学习方法，主要解决视线估计和视线跟踪等视觉映射问题，可以应用于汽车安全驾驶和感兴趣区域检测等领域。

背景技术

在计算机视觉中，视线估计是指根据输入的面部图像，定位人眼区域并根据眼球所在位置自动估计视线方向。现有的视线估计方法包括两类：(1)基于几何的方法和(2)基于回归的方法。详见参考文献：Takahiro Ishikawa,Simon Baker,Iain Matthews,andTakeo Kanade，Passive Driver Gaze Tracking with Active Appearance Models,tech.report CMU-RI-TR-04-08,2004。

基于几何的视线估计方法主要通过定位瞳孔中心、上下眼睑特征点以及眼角位置等来计算视线方向。定位上述眼部区域的特征点主要利用活动外观模型(ActiveAppearance Model)，这是一种通过人脸全局外观定位脸部特征点(眼角点、嘴角点等)的方法。基于几何的视线估计方法的优点在于当眼部特征点定位准确时视线估计准确度高，而缺点在于主动外观模型易受光照、遮挡和姿态的影响，造成眼部特征点定位不准确。详见参考文献：Takahiro Ishikawa,Simon Baker,Iain Matthews,and Takeo Kanade，PassiveDriver Gaze Tracking with Active Appearance Models,tech.report CMU-RI-TR-04-08,2004和Iain Matthews,and Simon Baker,Active Appearance Models Revisited,International Journal of Computer Vision,Vol.60,No.2,pp.135-164,2004.

基于回归的视线估计方法主要通过检测人眼区域，并建立眼部图像特征和视线之间的映射关系。现有方法主要通过支持向量回归、高斯过程回归等建立映射关系。基于回归的视线估计方法的主要优点在于当人眼区域定位准确的前提下简单易实现，而缺点是现有回归方法很难非常准确的描述人眼特征与视线之间的映射关系。详见参考文献：ZhiweiZhu,Qiang Ji,and Kristin P.Bennett,Nonlinear Eye Gaze Mapping FunctionEstimation via Support Vector Regression,The 18th International Conference onPattern Recognition,Vol.1,pp.1132-1135,2006.和Oliver Williams,Andrew Blake,and Roberto Cipolla.Sparse and Semi-supervised Visual Mapping with theS3GP.The 2006IEEE Computer Society Conference on Computer Vision and PatternRecognition,Vol.1,pp.230-237,2006.

在基于回归方法的视线估计方法中，最重要的问题是建立从眼部特征到视线的非线性回归模型。在非线性回归模型中，现在深度回归模型已被证实为解决该问题最好的模型之一。由于其高准确性、灵活性和强通用性，深度方法当前被广泛使用。近年来，以自编码器为核心的研究工作，越来越多的被应用到实际问题中。详见参考文献：Yan LeCun,BengioYoshua Bengio,and Geoffrey Hinton,Deep Learning,Nature,Vol.521,pp 436-444。