[发明专利]注视检测设备和注视检测方法

说明书

技术领域

本文论述的实施方式涉及用于基于捕捉到的人眼图像来检测注视方向的注视检测设备和注视检测方法。

背景技术

正在进行的工作是检测人眼的注视方向，从而获得关于吸引人的注意的对象的信息或者自动执行与注视方向或者正在注视的人的位置相关的操作。为了方便起见，下文中将由人注视的位置简称为注视位置。

人的注视位置或注视方向与人的瞳孔指向的方向密切相关。有鉴于此，已知提供根据捕捉的人眼的图像检测瞳孔并基于瞳孔相对于参考点的位置关系来识别人的注视方向或注视位置的技术。例如，光源的角膜反射图像(下文中被称为浦肯野(Purkinje)图像)被用作参考点。

然而，在一些情况下，浦肯野图像可能与瞳孔重叠，并且在眼睛图像中可能不能完整地捕捉瞳孔。当这发生时，可能不能从眼睛图像中准确地检测瞳孔。为了解决这个问题，已经提出了一种技术，其积极利用浦肯野图像中包含的信息，从而即使当大部分瞳孔被浦肯野图像遮住时也能稳定地检测瞳孔(例如，参照日本未审查专利公开(特开)第2012-24154号)。

根据在日本未审查专利公开(特开)第2012-24154号中公开的瞳孔检测设备，以浦肯野图像内的参考点作为一端来设置每个预定长度的多个线段，并且基于参考亮度和线段上的每个像素的亮度来计算每个线段的亮度评估分数。然后，基于计算出的评估分数，瞳孔检测设备从多个线段中识别通过瞳孔图像的中心的瞳孔的中心线，并且基于瞳孔的中心线附近的亮度条件来检测瞳孔图像。

发明内容

然而，浦肯野图像不是唯一可能覆盖眼睛图像中的瞳孔图像的图像。例如，当观察者佩戴眼镜时，由眼镜反射的光源的图像可能与瞳孔图像重叠。还存在多个光源的图像可以反射到眼睛图像中的可能性。在这种情况下，日本未审查专利公开(特开)第2012-24154号中公开的技术可能不能够准确地检测瞳孔。

在一个方面，本发明的目的是提供一种注视检测设备，其即使在眼睛的瞳孔被所捕捉的图像中的另一图像部分隐藏时也能够估计用户眼睛的瞳孔位置。

根据一种实施方式，提供了一种注视检测设备。该注视检测设备包括：图像捕捉单元，其生成表示用户的双眼的图像；眼睛检测单元，其针对双眼中的每只眼睛而从图像中检测包含该眼睛的眼睛区域；瞳孔检测单元，其针对双眼中的一只眼睛而从眼睛区域中检测包含瞳孔的瞳孔区域；估计单元，其基于针对该一只眼睛检测到的瞳孔区域，获得针对双眼中的另一只眼睛的在图像上的瞳孔区域的估计形状；瞳孔再检测单元，其通过从针对该另一只眼睛检测到的眼睛区域内搜索具有与估计形状匹配的形状的区域来检测瞳孔区域；以及注视检测单元，其基于针对双眼中的每只眼睛检测到的瞳孔区域的位置来检测用户的注视方向。

附图说明

图1是示出数字标牌系统的实现注视检测设备的一个实施方式的硬件配置的图。

图2是示出照明光源、红外相机和显示单元的配置的一个示例的图。

图3是用于实现注视检测过程的控制单元的功能框图。

图4是示出估计范围的一个示例的图。

图5是示出照明光源与用户的注视方向之间的关系的一个示例的图。

图6是示出如何校正估计范围的位置的一个示例的图。

图7是示出用于确定估计范围的位置的方法的另一示例的图。

图8是示出注视方向和瞳孔区域的形状之间的关系的一个示例的图。

图9是示出当用户的面部相对于红外相机的视线成角度定向时，注视方向与瞳孔区域的形状之间的关系的一个示例的图。

图10是提供如何基于瞳孔区域的未被隐藏部分的轮廓来估计瞳孔的重心的位置的概况的示意图。

图11是示出映射表的一个示例的图。

图12是示出注视位置表的一个示例的图。

图13是示出注视检测过程的操作流程的图。

具体实施方式

下面，参照附图描述注视检测设备。注视检测设备通过使用相机捕捉被用光源照明的用户的双眼来生成图像，并且通过检测图像上的各眼睛的瞳孔来检测用户的注视方向。然后，基于所检测到的一只眼睛的瞳孔相对于针对每只眼睛预设的参考点的位置关系，注视检测设备设置估计范围，在所述估计范围内所述瞳孔被估计为位于另一只眼睛中。此外，基于在图像上针对一只眼睛检测到的瞳孔的形状，注视检测设备在图像上获得针对另一只眼睛的瞳孔的估计形状。然后，基于估计范围和瞳孔的估计形状，注视检测设备再次执行用于检测另一只眼睛的瞳孔的过程。