[发明专利]基于事件相机的眼部检测和追踪方法、系统、设备及应用

权利要求书

1.一种基于事件相机的眼部检测和追踪方法，其特征在于，所述基于事件相机的眼部检测和追踪方法利用事件相机对运动目标和变化目标进行反馈，对眼部的数据进行采集；采集到的数据输入到一个经过训练的神经网络中，神经网络识别检测到眼球位置和瞳孔位置，并对眼球位置和瞳孔位置特征提取；利用提取的眼球位置特征对眼球追踪，利用提取的瞳孔位置特征对瞳孔追踪；利用追踪到的眼球位置信息和瞳孔位置信息计算眼球和瞳孔的相对位置信息，计算出眼部视线位置刻画出视线轨迹。

2.如权利要求1所述的基于事件相机的眼部检测和追踪方法，其特征在于，所述基于事件相机的眼部检测和追踪方法具体包括：

第一步，获取数据，在确认佩戴好数据采集器后，启动事件相机并通过事件相机获取到眼部数据；

第二步，输入数据，获取到眼部数据后将眼部数据输入到智能处理模块中；

第三步，检测眼部，在输入模块中首先检测识别眼部的眼球和瞳孔，检测成功则进入第四步，不成功则返回，持续的获取数据；

第四步，初始化追踪，将检测到的眼球和瞳孔作为初始化追踪算法的第一帧；

第五步，更新数据，从事件相机中获取到新的数据；

第六步，追踪眼部，更新数据后根据初始化的信息不断利用特征比对来进行追踪；

第七步，追踪结束，如果第六步中的特征对比的相似度大于阈值，则对比成功可以继续追踪，如果特征对比度小于阈值则判定追踪失败，结束追踪；

第八步，刻画轨迹，追踪结束后，根据跟踪的结果进行轨迹刻画。

3.如权利要求2所述的基于事件相机的眼部检测和追踪方法，其特征在于，所述第一步将数据采集器固定在头部位置，并调整两个事件相机的位置，对准人的眼部。

4.如权利要求2所述的基于事件相机的眼部检测和追踪方法，其特征在于，所述第二步包括：当佩戴设置完成后，启动数据采集器对眼部进行数据采集、传输，通过有线连接将数据传输给数据传输模块，将数据实时传入到智能处理模块中；

输入数据，当事件相机获取到数据时，将数据通过有线连接输入到5G无线传输模块；通过无线传输的方式将数据传入到智能处理模块，在传入智能模块前，进行滤波和降噪处理。

5.如权利要求2所述的基于事件相机的眼部检测和追踪方法，其特征在于，所述第三步检测眼部：在智能处理模块中，利用检测网络对眼球和瞳孔进行检测，检测返回两个结果A和B，其中A代表眼球在图像中的中心点坐标以及眼球的尺寸大小，则B代表瞳孔在图像中的中心位置坐标以及瞳孔的尺寸大小；

所述第四步的初始化追踪：将检测结果A和B的位置作为追踪过程的起始位置，并以A和B中提取的特征作为模板特征来分别进行眼球和瞳孔进行追踪；

所述第五步的更新数据：当有新的数据输入时，需要对新的数据进行特征采样，采样范围是以上一个目标所在的位置点为中心，在四周进行采样，通过特征提取网络对采样后的数据进行特征提取。

6.如权利要求2所述的基于事件相机的眼部检测和追踪方法，其特征在于，所述第六步的追踪眼部：在完成特征提取后，将新提取到的特征和模板特征进行对比，选取相似度最高的作为此时刻的追踪结果，并获取目标所在的中心位置；然后对模板更新，以设定的更新率更新模板特征，从此时的目标特征乘以特定更新率将现有特征以一定的比例和原有的模型进行融合；

所述第七步的追踪结束：通过跟对比新的特征和模板的相似度，判断追踪是否结束，设定相似度阈值；当新的特征的与模板的相似度特征小于这个设定好的阈值的时候，此时返回第六步中继续更新数据，当新的特征的与模板的相似度特征小于这个设定好的阈值的时候；判定此时追踪失败，追踪任务已结束，不在数据更新，进入第八步；

所述第八步的刻画轨迹：当追踪结束时，通过统计在一定时间内所有的追踪结果，计算眼球和瞳孔的相对位置，刻画出眼部在该段时间内的运行轨迹。

7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～6任意一项所述的基于事件相机的眼部检测和追踪方法的步骤。