[发明专利]基于事件相机的眼部检测和追踪方法、系统、设备及应用

说明书

本发明属于计算机视觉技术领域，公开了一种基于事件相机的眼部检测和追踪方法、系统、设备及应用，利用事件相机对运动目标和变化目标进行反馈，对眼部的数据进行采集；采集到的数据输入到一个经过训练的神经网络中，神经网络识别检测到眼球位置和瞳孔位置，并对眼球位置和瞳孔位置特征提取；利用提取的眼球位置特征对眼球追踪，利用提取的瞳孔位置特征对瞳孔追踪；利用追踪到的眼球位置信息和瞳孔位置信息计算眼球和瞳孔的相对位置信息，计算出眼部视线位置刻画出视线轨迹。本发明利用事件相机对眼部数据采集形成事件数据；利用深度学习的神经网络技术对采集到的事件数据处理和训练，进而解决了利用事件数据对人的眼部有效的识别和追踪的问题。

技术领域

本发明属于计算机视觉技术领域，特别涉及一种基于事件相机的对眼部进行检测和追踪的方法及设备，结合事件相机，利用深度学习技术，可以对眼部进行有效的检测和追踪。尤其涉及一种基于事件相机的眼部检测和追踪方法、系统、设备及应用。

背景技术

目前：眼球追踪技术是一项科学应用技术，一是根据眼球和眼球周边的特征变化进行跟踪，二是根据虹膜角度变化进行跟踪，三是主动投射红外线等光束到虹膜来提取特征。眼球追踪技术是当代心理学研究的重要技术，广泛运用于实验心理学、应用心理学、工程心理学、认知神经科学等领域。眼球追踪术的主要设备包括红外设备和图像采集设备。在精度方面，红外线投射方式有比较大的优势，大概能在30英寸的屏幕上精确到1厘米以内，辅以眨眼识别、注视识别等技术，已经可以在一定程度上替代鼠标、触摸板，进行一些有限的操作。此外，其他图像采集设备，如电脑或手机上的摄像头，在软件的支持下也可以实现眼球跟踪，但是在准确性、速度和稳定性上各有差异。

眼部检测和追踪主要是利用计算机视觉技术和图像处理技术对眼部进行检测和追踪技术，眼部包含眼球和瞳孔，眼部的检测和追踪技术即是对眼球和瞳孔进行追踪的技术，眼球和瞳孔的转动方向往往决定了人的视线的方向，对眼部的追踪是在眼球和瞳孔转动过程中对眼球和巩膜的转动方向进行捕捉，刻画出眼球和瞳孔转动的轨迹。眼部追踪一般利用普通的摄像头来进行检测和追踪。眼部追踪主要应用在眼控交互、VR视线追踪、驾驶行为监控、医疗心理领域、教育领域等有着广泛的用途。由于眼部运动速度快，而且需要检测和追踪的眼部目标小，所以在进行眼部追踪的过程中，普通的摄像头容易产生运动模糊，即相机的更新速度无法快于眼球和瞳孔的运动速度，影响眼部的检测和追踪眼部的效果。而且普通的相机需要高的帧率和分辨率，给处理设备带来存储和带宽、运算处理上的压力，这给眼部追踪的推广造成了阻碍。

事件相机是一种具有高帧率、低功耗低存储的采集设备，是一种神经启发式的传感器，当场景中有物体运动或光线改变造成一系列的像素发生变化时，会产生一系列的事件相机的输出和更新，相邻事件的更新速度可以小于1微秒。由于事件相机只会捕捉运动的目标，对运动的目标进行检测，减少背景所带来的干扰和所带来的运算。

通过上述分析，现有技术存在的问题及缺陷为：传统相机对眼部进行检测追踪时需要高帧率和高像素的相机，导致现有技术和设备需要占用大量的带宽和存储以及高运算高功耗，提高了眼部追踪技术的整体成本，限制了眼部追踪技术的推广和发展。

解决以上问题及缺陷的难度为：眼部检测和追踪需要高帧率低运算的解决方案，传统方法高帧率、高像素的数据，必然大量占用带宽、存储及运算资源，传统方法解决此问题难度很大，本发明利用事件相机可以有效解决此问题。

解决以上问题及缺陷的意义为：本发明提供高帧率低运算的解决方案，降低现有技术的成本，提高现有技术的精度，利于基于事件相机的眼部检测和追踪技术广泛应用。

发明内容

针对现有技术存在的问题，本发明提供了一种基于事件相机的眼部检测和追踪方法、系统、设备及应用。