[发明专利]视线估计装置

说明书

技术领域

本发明涉及从由拍摄装置拍摄人物的面部附近区域的图像对该人物的视线方向进行估计的视线估计装置，更详细而言，涉及具有即使在由视线测量装置得到的视线测量结果中包含误差的情况下，通过将测量结果平滑化，也能够高精度地估计视线方向的功能的视线估计装置。

背景技术

近年来，设计出一种从使用设置于汽车内的车载摄像头拍摄驾驶员面部附近区域的图像估计驾驶员的视线方向，根据测量的视线方向判断驾驶员的漫不经心的状态，从而对驾驶员进行警告的系统。这种系统需要高精度地估计视线方向。

视线估计装置大体上分为两种，大致分为由放大眼部周边而拍摄的图像进行视线估计的装置和由广角拍摄包含了面部整体的面部周边的图像进行视线估计的装置。

其中，由对眼部周边进行放大并拍摄的图像进行视线估计的装置，可以进行高精度的视线估计，另一方面有如下缺点，如果头部移动则不能进行视线估计，从而不适合驾驶员的视线估计。

与此相对，由广角拍摄面部整体的图像进行视线估计的装置，即使头部比较自由地移动也能够进行视线估计，适合驾驶员的视线估计，但是，由于对眼部区域的像素数及分辨率变低，因此，有视线估计的精度容易恶化的缺点。

通常，由广角拍摄面部整体的图像进行视线估计的视线估计装置，通过检测拍摄的人物的瞳孔的中心位置来估计该人物的视线方向。这时，由于眼部区域的分辨率低，因此，在眼部区域周边的低亮度部分频繁发生瞳孔的误检测。

其结果，很多由瞳孔的误检测导致的较大误差包含在视线测量结果中。因此，为了高精度地估计视线方向，不是将暂且得到的视线测量结果直接输出，而是需要通过平滑化除去误差的影响。

因此，目前提出了使用某些信号处理技术使视线测量结果平滑化的方法。例如，为了得到高精度的视线估计结果，有使用小波分析进行平滑化处理的方法(例如，参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本专利第3760960号公报

发明内容

发明要解决的课题

但是，上述现有的技术中，在视线测量结果中包含较大误差的情况下，平滑化不充分。具体而言，经过分析实际发生的瞳孔的误检测，瞳孔的误检测在外眼角及虹膜轮廓的位置等远离瞳孔中心位置的位置上大致以数帧一次的频率发生。

例如图13所示，视线测量结果犹如脉冲(surge)电流。因此，对于这种视线测量结果即使进行高精度的平滑化处理，也不能除去较大误差，降低了视线估计结果的精度。

另外，在进行平滑化处理的情况下，平滑化后的视线测量结果通常比实际的测量值更延迟数帧量，出现实时性降低的问题。

本发明的目的在于，提供一种即使如图13所示在视线测量结果中包含由瞳孔的误检测导致的较大误差的情况下，也能够没有延迟地得到误差被抑制的高精度的视线估计结果的视线估计装置。

用于解决课题的手段

本发明的视线估计装置的构成具备：图像输入部，其拍摄包含眼睛的面部附近的区域并作为图像取入；视线测量部，其根据拍摄的图像测量视线方向；视线测量结果保存部，其保存用所述视线测量部在过去测量的视线测量结果；代表值提取部，其提取保存在所述视线测量结果保存部中的过去的视线测量结果的代表值；视线决定部，其根据由所述代表值提取部提取的代表值和由所述视线测量部测量的视线测量结果的差值D是否小于规定的阈值T，决定将所述代表值和所述视线测量结果的其中一个作为视线估计结果。

根据该构成，本发明的视线估计装置，在视线测量结果和代表值的差值D小于阈值T的情况下，将视线测量结果作为视线估计结果，在差值D大于或等于阈值T的情况下，将代表值作为视线估计结果，因此，即使在视线测量结果中包含由瞳孔的误检测导致的较大误差的情况下，也能够没有延迟地得到误差被抑制的高精度的视线估计结果。

另外，本发明的视线估计装置，也可以是，还具备决定所述阈值T的阈值决定部，所述阈值决定部在设定了在一帧期间视线可能移动的最大眼球旋转角度P和在瞳孔区域外误检测瞳孔的情况下的差值D的最小角度Q之后，决定将所述最大眼球旋转角度P以上且所述最小角度Q以下的值作为所述阈值T。

根据该构成，本发明的视线估计装置能够恰当地决定选择视线测量结果和代表值的其中一个时所用的阈值T，能够稳定地得到高精度的视线估计结果。

另外，也可以是，所述阈值决定部根据涉及控制眼球运动的肌肉的伸缩速度的已知值，设定上述最大眼球旋转角度P。