[发明专利]基于单目摄像机的眼部识别追踪的方法和装置

说明书

本公开提供了一种基于单目摄像机的眼部识别追踪的方法和装置。所述方法包括：通过单目摄像机连续地获取包括人脸的多个帧；对多个帧中的除初始帧之外的当前帧进行人脸检测以获得当前帧的人脸区域；对当前帧的人脸区域进行人眼检测以获得当前帧的人眼检测窗口；基于当前帧的人脸区域和当前帧的前一帧的人脸区域进行人眼跟踪以获得当前帧的人眼跟踪窗口；以及基于预定模型对当前帧的人眼检测窗口和当前帧的人眼跟踪窗口以及前一帧的人眼检测窗口和前一帧的人眼跟踪窗口进行分析以获得当前帧的人眼区域。

技术领域

本公开涉及眼动跟踪领域，具体地，本公开提供了一种基于单目摄像机实现的眼部识别追踪的方法和使用该方法的装置。

背景技术

现有技术已经存在通过分析眼部的运动数据来探讨眼动与人的心理活动之间的关系。随着社会的不断发展，计算机技术中的目标识别与深度学习方向的技术进步与突破，使得眼部的识别和追踪成为心理学中越来越重要的一项指标。现代计算机视觉技术的发展能够提高眼部的识别和追踪技术，对于推动心理学、功效学等有着重要的现实意义。

现有技术中的眼部的识别和追踪技术通常需要使用眼动仪等设备进行眼部的识别和追踪。由于基本上需要使用穿戴式设备，例如，需要佩戴相对繁重的眼动仪等，因此在应用于实际场景中时存在诸多困难，可用性较差。此外，额外的穿戴式设备还会对人的表情和眼部的运动产生影响，导致眼部运动与表情的对应关系产生偏差。

此外，现有技术中还存在多摄像头配合主动光源的方式、基于红外摄像头的方式以及基于时间序列与主动光的深度相机等方式。

多摄像头配合主动光源的方式使用多个摄像头在特定角度进行拍摄不同的图像协同处理，这种方式能够较好地处理不同角度的问题，但是这种方式需要光源的配合，需要不同角度的光源按照一定顺序闪烁，在摄像机按照不同灯光闪烁情况都拍照完毕后，再使用这些图像共同进行计算。这种方式的光源闪烁时间间隔非常短，闪烁的时间不容易控制，且需要多个摄像头安置在特定角度，实际应用场景中很可能无法达到角度要求。并且灯光闪烁需要时间，同时在运算上使用多张图像进行共同计算将会导致计算量的增大，实时性难以保证。另外，多摄像头及多光源的配置也会导致成本的上升。

基于红外摄像头与深度摄像头都需要特定的摄像头设备，成本昂贵，且深度相机需要主动光的配合，且只能够基于时间序列来进行计算。

发明内容

本公开提供了一种基于单目摄像机实现的眼部识别追踪的方法和使用该方法的装置。

本公开的一方面提供了一种基于单目摄像机的眼部识别追踪的方法，所述方法包括：通过单目摄像机连续地获取包括人脸的多个帧；对多个帧中的除初始帧之外的当前帧进行人脸检测以获得当前帧的人脸区域；对当前帧的人脸区域进行人眼检测以获得当前帧的人眼检测窗口；基于当前帧的人脸区域和当前帧的前一帧的人脸区域进行人眼跟踪以获得当前帧的人眼跟踪窗口；以及基于预定模型对当前帧的人眼检测窗口和当前帧的人眼跟踪窗口以及前一帧的人眼检测窗口和前一帧的人眼跟踪窗口进行分析以获得当前帧的人眼区域。

在本公开的示例实施例中，预定模型可以包括：当当前帧的人眼检测窗口和当前帧的人眼跟踪窗口的重合度大于预定阈值时，将当前帧的人眼检测窗口和当前帧的人眼跟踪窗口的平均值输出为人眼区域；以及当当前帧的人眼检测窗口和当前帧的人眼跟踪窗口的重合度小于等于预定阈值时，基于前一帧的人眼检测窗口和前一帧的人眼跟踪窗口对当前帧的人眼检测窗口和当前帧的人眼跟踪窗口进行正确性验证，并根据验证的结果将当前帧的人眼检测窗口或当前帧的人眼跟踪窗口输出为人眼区域。